/ プログラム/ 発表一覧/ 著者一覧企業展示一覧/ jsai2017ホーム /

2O4-2 文脈を考慮したアテンションメカニズムによって計算量の削減

*セッションの無断動画配信はご遠慮下さい。

Tweet #jsai2017 このエントリーをはてなブックマークに追加

05月24日(Wed) 17:50〜19:30 O会場(ウインクあいち-10F 1007会議室)
2O4 自然言語処理・情報検索「自然言語処理・情報検索-自然言語処理応用」

演題番号2O4-2
題目文脈を考慮したアテンションメカニズムによって計算量の削減
著者朱 中元(東京大学)
中山 英樹(東京大学 情報理工学系研究科)
時間05月24日(Wed) 18:10〜18:30
概要ニューラル機械翻訳モデルにアテンションが重要な役割を果たしている。しかし、アテンションモデルの計算は全ての位置について行われるためで、計算複雑さを大幅に上昇した。本研究では、冗長なアテンション計算を削減できる新しいメカニズムを提案する。提案モデルは、位置に基づくペナルティを計算し、大きくペナルティされた位置に対するスコアの計算はスキップされる。実験で、計算を平均50%以上削減できることを確認した。
論文PDFファイル