私のブックマーク
計算論的認知科学 computational-cognitive-science-JSAI-My-Bookmark
第1版
はじめに
本ブックマークでは、近年のベイズ派の成果を中心に、人工知能の研究に役立ちそうな、計算論的認知科学の情報へのポインタを提供したい。
計算論的認知科学は認知の在り方を、計算方法やリソース制約を考慮したモデリング、シミュレーション、そして実験によって明らかにしようとする。この分野ではベイズ派を中心に、
Marr の三レベル(計算論、アルゴリズム、実装)で言う計算論的モデリング、すなわち「何を計算するか/すべきか」の研究に主なフォーカスがあり、これは計算論的神経科学や認知神経科学において「いかに計算されるか」を扱うアルゴリズムレベルの研究が盛んであるのと相補的であると言える。
知能の研究が認知や脳の研究に学ぶ必要性については議論の余地がある。人工の鳥よりも飛行機を作る方が有用な側面はかなり多く、知的システムが人間の認知や脳の制約を持つ必要はない。しかし他方で、たとえばディープラーニングの始祖である Geoffrey Hinton も、機械学習研究全体の中心人物の一人である Michael Jordan も、学部は実験心理学出身であり,そのことは少なくとも彼らの研究のメタ理論に影響を与えているそうである。また、最近ではベイズ派計算論的認知科学由来のアルゴリズムが機械学習の一部において深層学習に匹敵する成果を上げ、注目の価値はあると思われる。
計算論的・認知科学
Cognitive Science Society の HP にあるように、認知科学は人間の心の本質の理解という目的に向けた、人工知能、言語学、人類学、心理学、神経科学、哲学、そして教育学にまたがる学際的な試みである。
Paul Thagard による Stanford Encyclopedia of Philosophy の認知科学の定義によれば、認知科学の中心的仮説は「認知は心における表象 (representation) の構造とその構造上で作動する手続きとの組によってよく理解される」というものである。これは、アルゴリズム+データ構造=プログラムという計算機科学の図式とパラレルであることから分かるように、心的現象を実質的にある種のプログラムの動作として捉える見方であり、この意味では認知科学は当初から計算論的であったと言える。
基本文献・情報源
書籍
- Sun R. (Ed.), The Cambridge Handbook of Computational Psychology, Cambridge University Press, 2008.
扱っている範囲の広さから言えば、出版前のタイトル案であったらしい
“The Cambridge Handbook of Computational Cognitive Modeling”
の方が合っているほどである。認知モデリングのパラダイムとしてコネクショニズム、ベイズ派、力学系、論理学、認知アーキテクチャを挙げ、またそれらの様々な人間活動への適用などを扱っている。 - Townsend, J.T. and Busemeyer J.R. (Ed.), Oxford Handbook of Computational and Mathematical Psychology, Oxford University Press, 2015.
こちらは上記よりも新しく、認知現象を扱うための理論と数学的方法に重きがある。また同時に、教科書的にも使えるように構成されている。内容としては、基本的メカニズム、基本的認知スキル、高次認知のモデリングのモデルの紹介と、今後の方向性という構成になっている。
- Lee M.D. and Wagenmakers, E.J., Bayesian Cognitive Modeling: A Practical Course, Cambridge University Press, 2014
UC Irvine の Michael Lee とアムステルダム大の Eric-Jan Wagenmakers による、彼ら自身の研究を例とした認知モデリングの教科書である。
WinBUGS や JAGS、 あるいは Stan など確率プログラミング用の言語やライブラリを用いた実地的な本でもある。日本語版が北大路書房より2016 年秋頃発刊予定である.
日本語の情報源
- 中村國則 (2009). 認知科学におけるベイズ的アプローチに関連した文献紹介. 認知科学,12, 523-529.
Griffiths と Tenenbaum が行った因果推論 (2005)、帰納推論と偶然性 (2007)、日常的確率推論 (2006)の心理学的研究のレビューであり、彼らの研究の認知心理学における位置づけについても解説がある。
- K. マンクテロウ, 思考と推論 理性・判断・意思決定の心理学, 北大路書房, 2015年.
出版社のページ
と
目次
。推論、思考、意志決定と文化に関する、イギリスの推論心理学の伝統に属する博識な著者の本で、この分野の紹介を確率論的アプローチにより刷新している。自分が共訳者の一人であるからというだけではないと思うが、トピックが多い割に読み物としても優れていると思う。
読書リスト
- A reading list on Bayesian methods
UC Berkeley の Thomas Griffiths によるベイズ派の読書リストである。主観確率の基礎からベイズ的方法とニューラルネットとの関係まで幅広く、また Griffiths や Tenenbaum が CogSci で行った複数のチュートリアルのスライドや、それらが基になったジャーナルの特集号も紹介されている。
2010年頃までに作成・編集されたものと思われ最新ではないが、確率プログラミング以外の現在の方法論はほぼ出揃っていると思われる。このリストから次を一つだけ挙げたい。
- Trends in Cognitive Sciences – Volume 10, Issue 7, Pages 287-344 (July 2006) – Special issue: Probabilistic models of cognition
2006年当時でのベイズ的認知モデルの状況が視覚や感覚運動制御から、記憶、言語処理、帰納・学習と推論までにわたりレビューされている。
論文
人工知能に直接関係がありかつ最近のもののみ挙げる。以下の論文の内容の多くを含む
MIT の The Center for Brains, Minds, and Machines (CBMM)
における計算論的認知科学のレビュー講義
“Computational cognitive science: Generative models, probabilistic programs, and common sense”
の4時間にわたる動画も YouTube で観られる
(part 1, part 2, part 3)。
- Human-level concept learning through probabilistic program induction.
Lake, B., Salakhutdinov, R., and Tenenbaum, J. B.
(2015).
Science 350(6266), 1332-1338. doi: 10.1126/science.aab3050多様な手書き文字に対する生成モデルとしての確率プログラムの人間に模した方式での帰納的構築により、人間並みに早く効率的で、かつ「創造的」な概念獲得が可能であると主張しており、深層学習よりも優れた成果を挙げている。
John Markoff により New York Times でも取り上げられている。
第一著者の Lake による短い紹介動画と、
NYUでの講演の動画
もある。 - Computational rationality: A converging paradigm for intelligence in brains, minds and machines.
Gershman, S. J., Horvitz, E. J., and Tenenbaum, J. B.
Science 349, No. 6245, 273-278 (2015)(メタ)推論の計算コストを考慮に入れ、推論もまた一種の行動として効用を割り当てる、「計算論的合理性」という概念が人工知能、認知科学、そして神経科学を統合するとしている。
Horvitz と Tenenbaum へのインタビューが短くまとまっている
(動画)。 - Simulation as an engine of physical scene understanding.
Battaglia, P. W., Hamrick, J. B., and Tenenbaum, J. B. (2013).
Proceedings of the National Academy of Sciences 110(45), 18327-18332.素朴物理学を不確実性を織り込んだメンタルシミュレーションが支えるものと捉え、
3Dゲームで用いられる物理エンジンのようなものが心に備わっているとする。 - How to Grow a Mind: Statistics, Structure, and Abstraction.
Tenenbaum, J. B., Kemp, C., Griffiths, T. L., and Goodman, N. D. (2011).
Science 331 (6022), 1279-1285.ベイズ派アプローチを、チョムスキー的な生得説とコネクショニズムの経験論の対立をを止揚するものとして提唱している。この論文の
日本語での紹介スライド
が著者の Slideshare にある。また、同様の内容のTenenbaum の NIPS 2010 でのポズナー講演の動画がある。
学会
- CogSci (Cognitive Science Society)
認知科学の中心的学会であり、
Cognitive Science,
Topics in Cognitive Science (topiCS)
両誌を発行している。 - Neural Information Processing Systems (NIPS)
NIPS は機械学習の会議であるが、計算論的認知科学にとっても重要な学会で、新しい方法論やその適用はここで発表されることも多い。
- The Society for Mathematical Psychology (SMP)
数理心理学の学会で、年次大会では3トラックの口頭発表を中心として密度の高い議論が交わされる。
研究室・研究グループ
- Computational Cognitive Science Group (MIT)
MIT の Josh Tenenbaum は若くして認知科学全体を牽引している一人である。イエール大学で物理を学んだ後、 MIT で認知科学を研究し、その頃考案した非線形次元縮減手法の ISOMAP は有名である
(引用数はこのブックマーク執筆時で9000近い)。彼の研究室は、計算論的・定量的な人間知能の理解と人間レベルの人工知能の開発という「双子のゴール」を掲げ、認知心理学、機械学習、コンピュータ科学などを学際的に研究している。確率プログラミングの研究と開発の中心の一つでもある。 - Computational Cognitive Science Lab (UC Berkeley)
UC Berkeley の Thomas Griffiths は
Tenenbaum が指導した最初の学生の一人であり、統計学を学んだ後に心理学的に重要な研究を Tenenbaum と共同で行っているほか、機械学習や統計学の手法も多数考案している。この研究室は確率推論、因果学習、言語獲得、カテゴリー学習の研究の中心の一つである。 - Computation & Cognition Lab (Stanford)
Stanford の Noah Goodman は代数幾何の研究を行った後、
Tenenbaum の研究室にポスドクとして加わり、ルールや言語のモデリングを行っている。
Scheme ベースの確率プログラミング言語である Church の提案でも有名である。
Goodman の研究室では確率プログラミングを主要な道具立てとして、言語現象や推論を中心的に扱っている。 - Computational Cognitive Science Group (Donders)
オランダの Donders 研究所の Iris van Rooij
らは計算の複雑性とモデルのスケーラビリティを中心的な観点として、記号的、ニューラルネット的、確率的(含ベイズ派)、力学的、論理学的、そしてヒューリスティクス的な認知モデリングの全域を扱う独自性の高い研究を進めている。 - Reasoning and Argumentation Lab (ReAL)
ロンドン大学バークベック校の Mike Oaksford は Nick Chater と
90年代に高次認知のベイズ的モデリングの端緒を開き、これが合衆国でのベイズ派の展開に繋がった。人工知能における記号主義・論理主義の検討から研究を始めた彼は知能の実装に深い関心を持っており、当初からフレーム問題を認知心理学の根本問題と捉えている。
Oaksford と Ulrike Hahn が主宰するこの研究室では推論と議論のモデリングを中心に幅広く研究を展開している。また、推論の理論を中心とした
London reasoning workshop
も (他の学会などと合同でない限り) 毎年行っている。
確率プログラミング
認知の表象と推論としては、ベイズネットよりも表現力の強い確率プログラミング言語が用いられるようになってきている。
- チュートリアルとして
Probabilistic Models of Cognition by Noah D. Goodman and Joshua B. Tenenbaum.
があり、実際にブラウザ上でコードを動かしながら認知科学の確率的アプローチが学べる。 - Forest – a repository for generative models
は生成モデルの Church でのコード例を集めている。
計算論的認知科学の今後と汎用性
上で触れた Tenenbaum らによる、確率プログラミングによる「人間レベル」の実現など、計算論的認知科学の有効性は増していると思われる。世界的に人工知能に汎用性を求める動きがあり (私のブックマーク:汎用人工知能)、
Google DeepMind の Demis Hassabis も Artificial General Intelligence (AGI) という言葉を公式に使い始めている (Royal Society での講演の動画)。個別の良く定義されたタスクのための技術の開発には、研究者が、自分ならその問題をどう解くかを参考にする、という以上の「認知科学」は必要ないかもしれないが、一般性、汎用性を求める場合には、汎用知能の稀少な例としての人間の認知の在り方に学ぶべきところはより多いと考えられる。その意味では、人工知能と認知科学の交流の機は再び熟してきたと言えるだろう。
最後に
著者は2016年4月から一年間欧州に滞在し、パリ第8大学・高等実習院とロンドン大学バークベック校での双方での客員研究員として研究を行った後、日本での計算論的認知科学の研究グループの立ち上げを計画しています。ご関心のある方はぜひご連絡ください。本ブックマーク執筆の機会を下さった首都大小町守准教授に感謝します。