【記事更新】私のブックマーク「計算知能」

私のブックマーク

計　算　知　能

井上　敦司（九州工業大学大学院）

1．はじめに

　計算知能分野の英語原著論文（または同等文献）の「最小（Minimal）」コレクション．ソフトコンピューティングの主流であるファジィ理論，ニューラルネットワーク，進化計算を中心に，サポートベクトルマシンや決定木学習など，機械学習でよく用いられるアルゴリズムなどの原著も網羅した．もともと「私立大学情報系特論」の講義資料として準備したものである．

2．押さえるべき論文

　本稿は，人工知能の発展経緯（図1）に即して，極めて重要（Pivotal）な内容の原著（英文）論文を講義やゼミで学生諸氏に最初に実際に読み込んでもらう，または眺めてもらうためのコレクションである．ここから内容の理解を可能な限り促進し，さらに応用に関する知見の共有や議論の展開を期待する．他の関連重要文献は，理解や応用を深める過程において，各自網羅・参照できる取っ掛かりになるような論文の最小選択を目指した．

図1　人工知能の発展経緯

3．計算知能の定義

英文ウィキペディアから抜粋：
　“Generally, computational intelligence is a set of nature-inspired computational methodologies and approaches to address complex real-world problems to which mathematical or traditional modeling can be useless for a few reasons: the processes might be too complex for mathematical reasoning, it might contain some uncertainties during the process, or the process might simply be stochastic in nature. Indeed, many real-life problems cannot be translated into binary language（ unique values of 0 and 1） for computers to process it. Computational Intelligence therefore provides solutions for such problems.”
和訳（筆者独自の抄訳）：
　一般的に計算知能は自然現象を模倣した計算手法やアプローチを対象とし，それらによって既存のモデルで対処しきれないかそれらが役に立たない複雑な実世界の問題解決に対峙する．実際，多くの実世界の問題はそこに内在する曖昧性，複雑性，そして確率・統計的プロセスなどを理由にディジタル計算機で扱いやすい2値的モデルに翻訳できない場合が多く，計算知能がそのような場合の有効な解決手段を提供するとされる．

4．原著論文リスト（最小）

4･1　ソフトコンピューティング（SoftComputing：SC）

• [SC1] Zadeh, L. A.: Fuzzy logic, neural networks and soft computing, Communications of the ACM, Vol.37,No.3, pp.77-84（1994） Note: SC origin
• [SC2] Jang, J.-S. R.: Fuzzy modeling using generalized neural networks and Kalman filter algorithm, Proc. of the 9th National Conference on Artificial Intelligence, Anaheim, CA, USA, July 14-19, Vol.2, pp. 762-767（1991） Note: Adaptive Neuro Fuzzy Inference System（ANFIS）
• [SC3] Ishibuchi, H. and Nojima, Y.: Multiobjective Genetic Fuzzy Systems, Springer Handbook of ComputationalIntelligence（20pages）chapter（2015） Note: Genetic Fuzzy Systems encycropediatic article
• [SC4] Kosko, B.: Fuzzy cognitive maps, International Journal of Man-Machine Studies, Vol.24, pp. 65-75（1986） Note: Fuzzy Cognitive Map（FCM）
• [SC5] Kohonen, T.: Self-organized formation of topologically correct feature maps, Biological Cybernetics, Vol.43, No.1, pp.59-69（1982） Note: Self Organizing Map（SOM）

4･2　ファジィ理論（FuzzyLogic：FL）

• [FL1] Zadeh, L. A.: Fuzzy sets, Information and Control,Vol.8, No.3, pp.338-353（1965） Note: Fuzzy sets original, One of the most cited papers in CS.
• [FL2] Zadeh, L. A.: The concept of a linguistic variable and its application to approximate reasoning–I, Information Sciences,Elsevier（1975） Note: Approximate reasoning（fuzzy inference） original
• [FL3] Zadeh, L. A.: Fuzzy logic=computing with words, IEEE Trans. on Fuzzy Systems, Vol.4, pp. 103-111（1996） Note: Seminal paper on Computing with Words（CW）
• [FL4] Zadeh, L. A.: From computing with numbers to computing with words-from manipulation of measurements to manipulation of perceptions, IEEE Trans. on Circuits and Systems, Vol.45, No. 1, pp. 105-119（1999） Note: Computational Theory of Perception（CTP） original
• [FL5] Takagi, T. and Sugeno, M.: Fuzzy identification of systems and its applications to modeling and control, IEEE Trans. on Systems, Man, and Cybernetics,Vol. SMC-15, Issue 1, pp. 116-132（1985） Note: Takagi-Sugeno-Khan（TSK） Fuzzy Control Model
• [FL6] Bezdek, J. C., Ehrlich, R. and Full, W.: FCM: The fuzzy c-means clustering algorithm, Computers & Geosciences, Vol.10, Issues 2-3, pp.191-203（1984） Note: Fuzzy c-means clustering
• [FL7] Mamdani, E. H.: Application of fuzzy algorithms for control of simple dynamic plant, Proc. IEE, Vol.121,No.12, pp.1585-1588（1974） Note: Mamdani Fuzzy Control Model

4･3　ニューラルネットワーク（NeuralNetworks：NN）

• [NN1] McCulloch, W. and Pitts, W.: A logical calculus of the ideas immanent in nervous activity, Bulletin of Mathematical Biophysics,Vol.5, pp.115-133（1943） Note: First ANN model
• [NN2] Rosenblatt, F.: The perceptron: A theory of statistical separability in cognitive systems, Report VG-1196-G-1, Cornell Aeronautical Laboratory, Buffalo,NY（1958） Note: Perceptron original
• [NN3] Fukushima, K.: Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position, Biological Cybernetics,Vol.36, pp.193-202（1980） Note: Neocognitron=CNN
• [NN4] Hochreiter, S., et al.: Gradient flow in recurrent nets: The difficulty of learning long-term dependencies, In Kolen, J. F. and Kremer, S.C.（eds.）， A Field Guide to Dynamical Recurrent Networks, John Wiley & Sons（2001） Note: Gradient problem of recurrent ANN
• [NN5] Hinton, G. E., Osindero, S. and Teh, Y. W.: A fast learning algorithm for deep belief nets, Neural Computation,Vol.18, Issue 7, pp.1527-1554（2006） Note: Deep Learning origin
• [NN6] LeCun, Y., Bottou, L., Bengio, Y. and Haffner, P.: Gradient-based learning applied to document recognition, Proc. of the IEEE, Vol.86, No.11, pp.2278-2324（1998） Note: MINIST handwritten digit recognition using convolutional neural networks and many other methods
• [NN7] Goodfellow, I. J., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A. and Bengio, Y.: Generative adversarial networks: Proc. of the 27th Int. Conf. on Neural Information Processing Systems（NIPSʼ14）, Vol.2, pp. 2672-2680（2014） Note:Generative adversarial networks（GAN）. Generator. Discriminator
• [NN8] Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser Ł. and Polosukhin, I.: Attention is all you need, The 31st Conf. on Neural Information Processing Systems（NIPS 2017）（2017） Note: Transformer ─foundation of GPT（from ChatGPT）
• [NN9] OpenAI: GPT-4 Technical Report,ArXiv（2023） Note: A comprehensive technical report of GPT-4

4･4　進化計算（EvolutionaryComputing：EC）

• [EC1] Goldberg, D. E.: Genetic Algorithms in Search, Optimization and Machine Learning, Addison-Wesley（1989） Note: Genetic Algorithm（the origin of Evolutionary Computing）. The first textbook
• [EC2] Deb, K., Pratap, A., Agarwal, S. and Meyarivan, T.: A fast and elitist multiobjective genetic algorithm: NSGA-II, IEEE Trans. on Evolutionary Computation,Vol.6, No.2, pp. 182-197（2002） Note: Evolutionary Multiple Objective Optimization（NSGA-II）
• [EC3] Storn, R. and Price, K.: Differential evolution -A simple and efficient heuristic for global optimization over continuous spaces, Journal of Global Optimization,Vol.11, pp.341-359（1997） Note: Differential Evolution original
• [EC4] Kennedy, J. and Eberhart, R.: Particle swarm optimization, Proc. of ICNNʼ95- Int. Conf. on Neural Networks,Vol.4, pp.1942-1948（1995） Note: Particle Swarm Optimization original
• [EC5] Ishibuchi, H. and Murata, T.: A multi-objective genetic local search algorithm and its application to flowshop scheduling, IEEE Trans. on Systems, Man, and Cybernetics, Part C: Applications and Reviews, Vol.28,No.3, pp.392-403（1998） Note: Multi-objective optimization: MOEA/D original

4･5　機械学習や人工知能（Artificial Intelligence & MachineLearning：AIML,一部抜粋のみ）

• [AIML1] Turing, A.: Computing machinery and intelligence, Mind,Vol.59, No.236, pp.433-460（1950） Note: Turing Test original. See also ’Can computers think?’
• [AIML2] McCarthy, J., Minsky, M. L., Rochester, N. and Shannon, C. E.: A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence, August 31, 1955, AI Magazine,Vol.27, No.4（2006） Note: Original proposal─The origin of AI as a study field
• [AIML3] Solomonoff, R.: Discriminatory analysis, nonparametric discrimination: Consistency properties,（Report）USAF School of Aviation Medicine, Randolph Field,Texas（1951） Note: k-Nearest Neighbor（k-NN）original
• [AIML4] Solomonoff, R.: An Inductive inference machine, IRE Convention Record, Section on InformationTheory, Part 2, pp.56-62（1957） Note: The origin of machine learning（ML） !? Verification needed
• [AIML5] MacQueen, J. B.: Some methods for classification and analysis of multivariate observations, Proc. 5th Berkeley Symposium on Mathematical Statistics and Probability, Vol.1, pp. 281-297, University of CaliforniaPress（1967）, MR 0214227 Note: k-means clustering original
• [AIML6] Valiant, L.: A theory of the learnable, Communications of the ACM, Vol.27, No.11, pp. 1134-1142（1984） Note: Probably Approximately Correct（PAC）learning
• [AIML7] Quinlan, J. R.: Induction of decision Trees, Machine Learning,Vol.1, No.1，pp.81-106（1986） Note: Decision Tree Learning（DTL）original
• [AIML8] Pearl, J.: Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference, Publisher:Morgan Kaufmann Pub. ISBN1-55860-479-0（1988） Note: Introduction & Integration of Bayesian networks to AIML
• [AIML9] Sutton, R. S.: Learning to predict by the method of Temporal difference, Machine Learning, Vol.3, No.1, pp.9-44（1988） Note: Temporal differences ＋ reinforcement learning
• [AIML10] Boser, B. E., Guyon, I. M. and Vapnik, V. N.: A training algorithm for optimum margin classifiers, Proc. of the 5th Annual Workshop on Computational Learning Theory,pp. 5144-5152,Pittsburgh（1992） Note: Support Vector Machine（SVM）＋ kernel trick original

5．その他の参考情報（抜粋）

　計算知能を網羅し，詳しくわかりやすく説明した教科書は（ほぼ）存在しない．百科事典的な網羅とある程度わかりやすい説明を施した教科書の代表は， S. J. Russell and P. Norvigの “Artificial Intelligence: A Modern Approach”であろう．ソフトコンピューティング手法をはじめ，確率のAIへの応用が網羅されている．
　人工知能全般の国際会議として代表的なものは，The Association for Advancement of Artificial Intelligence（AAAI）主催のThe AAAI Conference on Artificial Intelligence（AAAI Conference）やThe International Joint Conference on Artificial Intelligence（IJCAI）がある．計算知能の代表的な国際会議は，The Institute of Electrical and Electronics Engineers（IEEE）主催のWorld Congress on Computational Intelligence（WCCI）である．これは数年に一度の頻度で三つのIEEE主催の関連国際会議（The International Joint Conference on Neural Networks – IJCNN, the IEEE Congress on Evolutionary Computation – IEEE CEC, the IEEE International Conference on Fuzzy Systems – FUZZ-IEEE）を同時開催するものである．2024年に横浜で開催される．
　ファジィ理論の国際会議はソフトコンピューティングを網羅する形で開催されており，国際連合的なThe World Congress on Fuzzy Systems Association（IFSA）会議（2年に一度，奇数年開催）を始め，ヨーロッパ主催のThe International Conference on Information Processing and Management of Uncertainty in Knowledge-Based Systems（IPMU）（2年に一度，偶数年開催），アメリカ主催のThe Annual Conference on North American Fuzzy Information Processing Society（NAFIPS）（IEEE SMC副スポンサー，毎年開催），そしてアジア主催のJoint International Conference on Soft Computing and Intelligent Systems and International Symposium on Advanced Intelligent Systems（SCIS&ISIS）（2年に一度開催． ISISは毎年開催）がある．