私のブックマーク
ニューラルネットワーク
村田 昇 (早稲田大学理工学部)
はじめに
1980年代の後半にニューラルネットワークの研究が活発になってもう10年以上が経ち，パタン認識などの特徴抽出，あるいは制御などで必要とされる非線形関数を近似する道具として最近ではすっかり定着した感があるようです．ニューラルネットワークというと一種ブラックボックス的でちょっと胡散臭いという印象をお持ちの方も多いかと思いますが，統計的な推定問題と関係が深く制御や統計の専門の人々との交流も進んでいます．
ここではニューラルネットワークに関連した学習の話題を中心に紹介していきたいと思います．昨年沼尾先生が機械学習というテーマで計算論的学習理論に関わる様々なサイトを紹介して下さっていますので，そちらも合わせて参考にして戴ければと思います．
ニューラルネットワーク一般について
まずニューラルネットワークについて調べ始めるときに起点となるポータルサイトの紹介からしようと思ったのですが，検索エンジンで適当なキーワードで調べても判ると思いますが，相当あってちょっと紹介しきれそうにありません．ここでは興味を持って初めて手に触れるという人のために以下のリンクを紹介しておきます．
- まずネットニュースの質問集である USENET comp.ai.neural-nets FAQ を挙げておきます． 最近整理し直されたようですが，
改めて眺めてみますと非常によく纏められており， この分野を概観するのには最適なリソースの一つだと思います． 各話題に関するリンクも豊富です． - 上のFAQの中には公開されているプログラムのソースコードなどのリンクも 多く含まれています．
ニューラルネットワークがどんな風に動くのかを実感してみたい人は 例えば Stuttgart Neural Network Simulator などを使ってみると良いでしょう．
SNNSはもともとUniversity of Stuttgartで開発され， その後 University of Tuebingenでメンテナンスされており， 最近はJavaで書かれたものも公開されています． GUIを含む大規模なシミュレータですが，
ソースコードも付いているので， 中身を理解したいという人にも役に立つと思います． - 日本でも例えば 奈良先端大の吉岡さん が自作のJavaによるいろいろなニューラルネットワークのアプレットを公開し ています．
まずは上で紹介したようなプログラムを用いて実際に動かしてみるのが何よりでしょう．
次に比較的大きな研究グループをいくつか紹介します．
- Salk Institute の Computational Neurobiology Lab． Terry Sejnowski の研究グループで 西海岸の計算論的神経科学(computational neuroscience)の中心的存在です． 研究者の交流の場でもあり， 様々な新しい研究テーマを産み出しては情報発信しています．
- Helsinki University of Technology の Neural Networks Research Centre． 自己組織化マップ(SOM)で名高い Teuvo Kohonen がおり， データマイニングに応用した WEBSOM の大規模なデモもあります．
最近はErkki OjaとJuha Karhunenが中心となり 独立成分分析(ICA)の分野で精力的に活動しています． - Aston University の Neural Computing Research Group． 統計力学的手法を学習の解析に取り入れ，
理論研究では著しい成果を挙げている David Saad と Manfred Opper が在籍しています． - Royal Holloway, University of London の Computer Learning Research Centre． Professor として Alexey Chervonenkis, Vladimir Vapnik, Volodya Vovk,
John Shawe-Taylor といった人が名を連ねていたり， Q-Learning で有名な Cris Watkins が在籍していたりと
多様な人材を抱えています．
またヨーロッパにまたがるプロジェクト ESPRIT に関する資料のアーカイブである NeuroCOLT の実体もここにあります． - 国内では 産業総合研究所， の 脳神経情報研究部門， 理化学研究所 Brain Science Institute， ATR Human Information Processing Research Laboratories， 川人 Dynamic Brain Project などが比較的大きなグループを構成しています．
その他の国内の研究者の関連リンクについては 奈良先端大，石井信先生の研究室 のページが充実していますので，そちらを参照してみて下さい．
こうしたサイトでは個々の話題についての関連リンクが豊富ですので，そちらも合せて参考にして下さい．
最後にニューラルネットワークに関連する雑誌などの情報源です．
- IEEE Transactions on Neural Networks – IEEE Neural Networks Council の正式な学会誌です．
- Neural Networks – International Neural Network Society の正式な学会誌です．
比較的理論の色彩が強い雑誌です． - Neural Computation – Terry Sejnowski が中心となり MIT Press から出版されている雑誌です． Letterが主体なので上記の雑誌に比べて比較的新しい内容のものが多く， 理論，応用ともに幅広く取り挙げています．
また計算論的神経科学に関する論文も多く載っています． - Advances in Neural Information Processing Systems – ニューラルネットワーク関連の会議としてはおそらく最も有名な
NIPS
(Neural Information Processing Systems) の全 proceedings を， AT&T Labs
で開発されたデジタルライブラリ技術 DjVu を用いて 電子化したものです． - Connectionists Mailing List –
ニューラルネットワーク一般に関する最大のメーリングリストです． 日本では ニューロメール が配送していましたが， メンテナンスの問題で現在ではやめているようです．
最近の話題
次にこの分野での最近の話題，特に私が興味を持って眺めているものをいくつか取り挙げ，その関連リンクを紹介します．
Large Margin Classifier
ここ数年の間に文字認識などのパタン識別問題において話題になった概念の一つにサポートベクターマシン(support vector machine)
があります．識別境界から各パタンまでの距離をマージン(margin)といいますが，このマージンの最小値を最大とするような識別境界が最適であるという形で問題を定式化すると，これは二次最適化問題になります．その解である識別境界を表すためには全てのパタンを用いる必要はなく，最適化問題で良く知られているように少数のパタンの線形結合により表され，識別境界を表す少数のパタンをサポートベクターと呼びます．この方法はマージンを測る距離に核関数(kernel)を導入して非線形な距離に拡張することによってその応用分野が非常に広がりました．これに関連した手法に関する情報を集めたサイトで有名なのは以下の二つでしょう．
- http://www.support-vector.org/． Nello Cristianini と John Shawe-Taylorが中心になってまとめているサイト．
- http://www.kernel-machines.org/． Alex Smola と Bernhard Schoelkopf が中心になってまとめているサイト．
もう一つ計算論的学習理論の分野で話題となったものとしてブースティング(boosting)があります．ブースティングは精度の低い識別器を上手く組み合わせることによって精度の高い識別器を構成する手法ですが，識別誤差を評価するときに上と同じマージンという概念が使われ，全パタンに対するマージンの振舞いを確率分布とし捉えることによって識別器の汎化誤差を評価することができます．ここでは経験分布の一様収束の性質に基礎を置くVapnikの理論が重要な役割を果たしており，サポートベクターマシンも含めて
large margin classifier という形で統一的に論じるという試みもあります．ブースティングについては以下のサイトが有名です．
- ブーステイングの産みの親である Robert Schapire の Boosting Home Page． 本人以外の論文や，SchapireとFreundによる tutorial
paper など 数多くの資料が公開されています． - http://www.boosting.org/ Gunnar Raetsch と小野田崇氏(電力中央研究所)により 最近立ち上がったサイトですが， 論文のアーカイブやBBSなどがあり情報が豊富です．
独立成分分析(Independent Component Analysis)
もともとは信号処理の beam forming や signal separation といった問題を学習に基づいて解こうとした試みに端を発していると思いますが， Anthony Bell らによって結合荷重を Infomax原理に基づいて更新していくという形で定式化されてから，ニューラルネットワークの分野でも非常に活発に研究されるようになりました．初期は理論的な側面に重きが置かれていましたが，最近では実問題への応用が進んできました．以下にいくつか参考となるサイトを紹介します．
- JADEアルゴリズムで有名な Jean-Francois Cardoso が運営する ICA Central． コードやMLのアーカイブを目的として開設されたものです． CardosoのJADEアルゴリズムのコードもここから辿れます．
- ICAの高速なアルゴリズムとして有名なAapo Hyvarinenらの FastICA の公式サイト．
- MIT Media Lab の Paris Smaragdis． デモやリンクが豊富ですので， ここを起点として検索するのも手でしょう．
- Princeton University の Scott
Rickard． これまでのICAの枠からは離れ， 例えば4人の声が録音されたステレオ信号から4人の音声をそれぞれ 分離するといった問題に取り組んでいます． - Stanford University の David Donoho と Emmanuel Candes． ICAと密接に関係した考え方にSparse Codingというものがあり， これの発展形として特に画像処理をターゲットに ridgeletsやcurveletsといった新しい概念を提案しています．
強化学習(Reinforcement Learning)
新しい話題というよりもむしろ最近見直されている問題と言えると思います．学習に非常に時間が掛かるとか，複雑な評価関数がなかなか上手く近似できないなど，まだまだ解決すべき難しい問題は残っていますが，ロボットの制御など現実の問題にも適用できるほどパーソナルコンピュータの能力が上ってきたことがその一因でしょう．
- University of Massachusetts の Reinforcement Learning Repository．
多くのサイトで紹介されている強化学習のリポジトリです． - 強化学習を一躍有名にした TD-Gammon の論文です． プログラムは Backgammon Galoreのアーカイブ からダウンロードできるようですが，
OS/2でないと動かないようです． どうしてかといえば上のURLからも判るようにTesauroはIBMの人だからでしょう． - 日本では東工大の 木村元先生， 奈良先端大の 石井信先生， ATRの 銅谷賢治先生
といった方々が興味深い研究をなさっています． この他にも多くの先生方が研究をなさっていますので， ここで挙げたリンクから辿ってみて下さい．
さて本学会の皆様には釈迦に説法だとは思いますが，最後にRoboCup の関連リンクをいくつか紹介します．
ロボットによる強化学習のテストベッドとしても面白い問題ですが，シミュレータ部門のレギュレーションは不完全データの予測問題としてもなかなか手強い問題です．様々な学習を考える場としては整備された良い題材だと思います．
なおシミュレータ部門のここ何年かの優勝チームはニューラルネットワークをうまく使っているようです．
- RoboCup Official Site． RoboCupの公式サイトです．日本の公式サイトは こちら です．
- Soccer Server System． シミュレータ部門のサーバープログラムの公式サイトです．
最新のシミュレータに関する情報が得られます． - CMU Robotic Soccer (RoboSoccer) Homepage． CMUnitedとしてシミュレータ部門で97から3年連続で優勝したチームのサイトです．
彼らが公開しているライブラリは多くのチームがベースにしているようです． 優勝したころの中心人物の一人Peter Stoneは現在AT&Tに移り，
最近はATTUnitedとして参加しているようです． - VIONET100 – RoboCup TV． テーマを設定して，それに関連するリンクを辿りながら
一種のTV番組のような雰囲気でテーマを理解していくという主旨のページですが， その中の一つとしてとりあげられています． ロボカップからはじまって，
コンピュータ，ロボット，人工知能，サッカーといったテーマで 様々なサイトを紹介しています． ロボカップ以外の「番組」もなかなか楽しめると思います．
おわりに
最後にもう一つ，ニューラルネットワークの数学的に深い問題として最近話題になっているのは特異点の問題です．ニューラルネットワークというのは非常に簡単な構造ですが，その構造ゆえパラメタを一意に決められないという性質があり，これが訓練誤差，汎化誤差に特別な影響を与えることが指摘されています．この問題の数学的な構造を解明するために
渡辺澄夫先生， 福水健次先生， 萩原克幸先生 といった方々が精力的に研究しておられます．興味のある方は是非御覧下さい．
今回の執筆にあたりWebサイトの情報を提供してくれた研究室の松本純二君，向井卓也君，上岡尊広君に感謝します．