【記事更新】私のブックマーク「Affective Computing（感情計算論）」

私のブックマーク

Affective Computing（感情計算論）

熊野　史朗（NTT コミュニケーション科学基礎研究所）

1．はじめに

　Affective Computing（感情計算論）とは，人間の感情（Affect）や情動（Emotion）を計算論的に理解・推定・活用する学際的研究領域です．1990年代にMassachusetts Institute of Technology（MIT）の Rosalind Picard教授が提唱して以降，心理学・神経科学・ロボティクス・ HCI・デザインなどさまざまな分野と連携しながら発展してきました．

1･1　基本感情と次元モデル

　人間の情動をどのように測りモデル化するかは，感情計算論の根幹に関わるテーマです．代表的には基本感情モデルと次元モデルの二つが知られています．

§1 基本感情モデル

　怒り・嫌悪・おそれ・喜び・悲しみ・驚きなど，離散的なカテゴリー（クラス）を想定するアプローチです．PaulEkman教授の研究で広く知られ，表情や生理指標との対応が多く報告されています．
　機械学習では「分類問題」として扱いやすい点が長所で，「瞬時の感情」を複数種類が混在する可能性を含めて捉えたい場合によく用いられます．

§2 次元モデル

　感情価（Valence：快─不快）と覚醒度（Arousal：高─低）など連続値で情動を表す手法です．Russell教授による円環モデルが有名で，「快─不快」，「高─低覚醒」軸上で感情を配置する考え方が広く使われています．「快─不快」の次元は言語処理分野のセンチメントにも対応します．また，これらにさらに支配性（Dominance）を加えた三次元の感情次元もよく使われます．この次元的アプローチは，数理的に扱いやすくニューラルネットワークとの相性も良く，さらに，PsychoPyといった心理実験プログラミング環境で連続値を容易に取得可能となったこともあり，近年主流化しつつあります．特に時間的な変化を扱ったり，共感など複数人間での感情の相互作用を分析するのに扱いやすい表現形態です．

1･2　構成論的感情主義

　感情は「表出（身体的・生理的反応）」と「認知（人間や AIがどう解釈・識別するか）」が必ずしも一致せず，文化的・社会的文脈や個人差の影響を大きく受けるため，「正解」を一意に定義することが難しい対象です．こうした問題に対して，構成論的感情主義が注目を集めています．
　構成論的感情主義は，あらかじめ定まった感情カテゴリーが先にあるのではなく，複数の行動・生理・文脈情報を通じて「これは怒り」，「これは喜び」と人や AIが認知的に構成するプロセスに情動が生まれる，という考え方です．基本感情モデルが“生成モデル”的発想に近いとすれば，構成論的感情主義は“識別モデル”に近いとも言えます．
　構成論的感情主義についてはこちらの心理学分野での座談会資料が示唆に富んでいます．
　近年，感情の曖昧性や分布を扱う研究の潮流と相まって，感情を動的・相互作用的に捉える視点が高まりつつあります．

2．主な投稿先

2･1　論文誌
  • IEEE Transactions onAffectiveComputing（TAFFC）
    　感情計算論分野の代表的ジャーナルで，インパクトファクタ＝ 9.6（2025年 1月 4日現在）．感情認識，感情対話，マルチモーダル解析，社会実装・倫理問題など幅広く扱い，Affective Computingの重要成果が集まっています．厳格な査読のため査読期間が半年間前後になることもしばしば．
2･2　国際会議
  • ACII（Affective Computing & IntelligentInteraction）
    　Affective Computingの旗艦会議．アキと読みます．日本で初開催した2022年より毎年開催に移行し，採択率はおおむね 40％ほど．参加者数は 200～300名程度ですが，後述する本分野を代表する研究者が一同に会し，ワークショップやパネルディスカッション（倫理面など）も含めて盛り上がります．2025年には次に述べる ICMIと連続開催（オーストラリア・キャンベラ）が予定されています．
  • ICMI（International Conference onMultimodalInteraction）
    　音声・表情・身体動作・視線などを総合的に扱う HCI系トップ会議．ACとの重なりが大きく，採択率は例年 40％前後です．イクミと読んだりします．
  • FG（International Conference onAutomatic Face and GestureRecognition）
    　表情やジェスチャ解析を中心に，バイオメトリクス関連の研究も多い会議．採択率は 40％程度．感情認識・行動理解の最新知見が集まります．
  • ISRE（International Society for Research onEmotion）
    　心理学・社会科学寄りの情動研究が中心ですが，近年は計算論的アプローチとの融合も増加しています．
  • その他（分野横断的）

　分野横断的に感情研究が行われており，多様なコミュニティで連携が進んでいます．

3．国際研究コミュニティと主な研究グループ

3･1　国際研究コミュニティ
3･2　世界の研究グループ

　Affective Computingの研究拠点はアメリカとイギリスが中心ですが，ヨーロッパ（ドイツ，フランス，スペインなど），アジア（インド，中国，シンガポール，日本など），オセアニアなど世界各地に存在します．以下はアメリカとイギリスのごく一部の例です．実際には多くの大学・企業研究所が国際会議や AAACなどを通じて連携しています．

4．国内研究コミュニティと主な研究グループ

4･1　国内研究コミュニティ

　本邦でも近年，本学会（JSAI）を中心に Affective Computingへの関心が高まりつつあります．特に 2020年以降，筆者らは JSAI全国大会で「Affective Computing」関連のオーガナイズドセッションを連続開催しており，国内研究者が成果を共有・議論する重要な場として定着しています．2025年も開催予定です．

4･2　国際コミュニティ

　日本国内でもAffective Computingに関連する研究は多く行われています．その中でも，Affective Computing分野において業績を多く出している主要グループとしては，筆者の所属するNTT研究所，筑波大学人工知能研究室（鈴木健嗣教授），岐阜大学人工知能研究室（寺田和憲教授），北陸先端科学技術大学院大学岡田研究室（岡田将吾教授）などが例としてあげられます．いずれも上記JSAIのACオーガナイズドセッションの運営に携わっています．

5．ツール&データセット編

　モダリティごとに抽出した特徴抽出をPyTorchなどによる深層モデルの入力として利用することが多いため，ここではごく一部ですが代表的な特徴量抽出ツールを紹介します．
　ただし，心理学寄りの研究では，R＋ Stanを用いたベイズモデリングと統計解析を行うこともしばしばです．さらに，より進んだアプローチとして，Pyroを用いて深層モデルと統計モデルを両方扱う試みもあります．目的に応じてこれらを使い分けるとよいでしょう．

5･1　特徴量抽出ツール
  • 表情 OpenFace
    　顔検出・ランドマーク抽出・Facial Action Units（AU）推定機能を提供．AU（ActionUnits）は Ekman教授らのFACS（Facial Action CodingSystem）に基づく解剖学的特徴単位で，感情認識や痛み推定，コミュニケーション分析などで解釈性の高い表情特徴量としてよく利用されます．
  • 音声 openSMILE
    　音声から感情関連の特徴量（ピッチ，エネルギー，フォルマント，MFCCなど）を包括的に抽出できるフレームワーク．音声感情認識のベースラインとして多くの研究で利用されています．
  • 言語 BERT
    　事前学習済みの Transformerモデル．テキスト感情分析（センチメント解析）などで強力なベースラインとなります．Hugging Faceライブラリなどを用いてファインチューニングが簡単に行えます．
  • 生体反応 NeuroKit2
    　ECG（心電図），EDA（皮膚電気活動），EMG（筋電図），呼吸などを統合的に処理・可視化・特徴抽出する Pythonライブラリ．
5･2　データセット

　ここでは，「感情を喚起させるための刺激セット」と，「感情表出のデータからその感情を推定するためのデータセット」に分けて紹介します．

（A）感情を喚起させるための刺激セット
  • International Affective PictureSystem（IAPS）
    　感情価・覚醒度をラベル付けした静止画像集で，多数の画像を用いて感情を喚起させる心理実験で定番．
  • Open Affective Standardized ImageSet（OASIS）
    　感情喚起画像セットの一つ．感情価・覚醒度情報が付いており，実験での刺激提示にしばしば用いられます．
  • NTT共感刺激データセット
    　国内発の共感刺激データ．俳優による自叙伝形式やシナリオ形式の本人の感情評定および生体データ付きの動画刺激で，Affective Computingや関連領域の研究に活用可能．
（B）感情表出のデータからその感情を推定するためのデータセット

6．国内動向と社会実装への展望

　ここでは，応用分野，そして法制度・倫理の話題をまとめます．教育やロボットなど多様な応用例があり，一方でプライバシ・説明責任の観点でも研究が活発です．

6･1　主な応用領域
  • 教育：学習者の情動（集中・興味・ストレスなど）を推定し，個別最適化の学習支援を行う．
  • ロボット・エージェント：感情的対話や表情表出を通じて，自然なヒューマンロボットインタラクションを実現．
  • 人対人インタラクション：オンライン会議の情動可視化や共感促進ツール，合意形成支援など．
  • 意思決定：組織内のディスカッション・投票において，参加者の情動反応を可視化し，納得感のある議論に寄与．
  • メンタルヘルス：ウェアラブルセンサや音声解析でストレス・うつ傾向をモニタリングし，早期発見や自己管理に生かす．
  • 痛み推定：医療・介護領域での客観的痛み評価手段として研究が進む．
  • ウェルビーイング：長期的視点で生活の質や幸福度を扱ううえで，感情推定技術とライフログ分析を組み合わせる事例が増加中．
6･2　倫理・法制度：AI Actへの対応
  • 欧州の AI Actは高リスク分野への規制強化を行っています．ただし，AI Actの対象はシステムであり，研究そのものを直接規制するわけではありません．しかし感情計算論は個人の内面データに踏み込む技術でもあるため，プライバシ・公平性・説明責任（Explainable AI）など多角的な配慮が必要です．
  • The Ethics of AI and Emotional Intelligenceは感情検出システムに関する倫理的懸念や推奨事項をまとめた白書であり，開発・実用面での注意点が詳しく解説されています．
  • ACIIでの議論
    　Affective Computingの旗艦会議 ACIIでは，近年毎年のように倫理・プライバシ・社会影響に関するパネルディスカッションが行われています．また，論文投稿時には研究の倫理的影響に関する言及が義務付けられています．今後も倫理面での議論はいっそう深化していくでしょう．

7．書籍・論文リソース

7･1　基本書・入門書
7･2　日本語で学ぶ
  • 人工知能学会誌　特集「Affective Computing」（Vol.36, No.1（2021））
    　感情推定や構成論的感情主義，マルチモーダル分析，社会実装・倫理など多角的な論考がそろっています．
    　最初に読むと良い資料として，Gratch教授の概説記事がおすすめです．感情計算論研究動向を包括的に紹介しています．また，主観感情推定の最近の動向を知るには，筆者の概説記事が参考になると思われます．行動データ・生体データから主観的な感情を推定する手法や個人差の対処などを解説しています．
  • 筆者公開の講義資料
    　筆者が最近行った招待講演や講義の資料を公開しています．

    • Asia Pacific Conference on Robot IoT System Development andPlatform（APRIS2023）での招待講演資料
      　パーソナライズド感情推定システムが抱える課題として，モデルの説明可能性，正解となる感情主観評価の不確実性やそこに含まれる評価者の回答バイアスを詳説．
    • 岐阜大学：知能機能学領域特別講義 B講義資料（2024/2）
      　Affective Computingの概説．主観感情推定における正解データの信頼性と妥当性の課題を含む．

8．おわりに

　Affective Computing（感情計算論）は，感情（Affect）や情動（Emotion）という人間の根幹的かつ複雑な要素を計算機で扱おうとする挑戦的な分野です．基本感情モデルと次元モデル，構成論的感情主義など多様な理論的フレームワークがあり，個人差・時間的変動，プライバシ・倫理面といった課題も少なくありません．しかし，教育，ロボット・エージェント，メンタルヘルス，意思決定支援，ウェルビーイングなど幅広い領域で大きな可能性を秘め，国際会議やコミュニティでの議論も活発に行われています．
　本稿で紹介した論文誌（IEEE TAFFC）や主要会議（ACIIなど），AAACコミュニティ，世界の研究グループ，ツール・データセット，国内でのオーガナイズドセッションや倫理的議論に関する情報は，Affective Computingを探求するうえでの有益な足掛かりとなると信じています．ぜひこれらを活用しながら，感情と計算の融合が拓く新しい可能性に触れていただければ幸いです．

9．謝辞

　貴重な機会を与えてくださった本学会誌編集委員会の皆様，特に，稲葉通将先生に深く感謝申し上げます．