05月26日(Fri) 12:10〜13:50 M会場(ウインクあいち-10F 1005会議室)
| 演題番号 | 4M1-4 |
|---|---|
| 題目 | Weight Normalizationを用いた2層パーセプトロンのオンライン学習の統計力学的解析 |
| 著者 | 吉田 雄紀(東京大学大学院 新領域創成科学研究科 複雑理工学専攻) 唐木田 亮(東京大学新領域創成科学研究科複雑理工学専攻) 岡田 真人(東京大学新領域創成科学研究科複雑理工学専攻) 甘利 俊一(理研BSI) |
| 時間 | 05月26日(Fri) 13:10〜13:30 |
| 概要 | ニューラルネットワークの結合加重を動径長と方向ベクトルに分解して勾配法で学習するweight normalization(WN)と呼ばれる手法がSalimans & Kingma (2016)にて提唱され，様々なタスクにおいて従来よりも高速な学習を実現している．しかしその理論的理解は不十分である．本研究では，WNを統計力学的視点で解析可能な形で定式化し，その学習能力やパラメータ依存性を議論する． |
| 論文 | PDFファイル |