私のブックマーク
雰囲気工学(Mood Engineering)
片上 大輔(東京工芸大学),湯浅 将英(湘南工科大学),大村 英史(東京理科大学),小林 一樹(信州大学),田中 貴紘(名古屋大学)
はじめに
人が集まりコミュニケーションする場で,人は「雰囲気」を感じる.複数の人が発する言葉,表情,視線,うなずき等から雰囲気を人は感じ取り,次に起こり得る雰囲気も意識的あるいは無意識的に予測しながらコミュニケーションを進めている.通常,雰囲気は言葉にして説明することが困難である一方,人は雰囲気に基づき多様なコミュニケーションを進めているとも考えられ,雰囲気を工学的に議論することはコミュニケーションの基盤・機構の解明に繋がる.我々は雰囲気を工学的に扱う領域を雰囲気工学と呼び,2013年に人工知能学会の全国大会におけるオーガナイズセッションを企画することから活動を始めた.この活動の主な目的は,関連する研究を議論する場所を提供し,様々な分野に応用できる工学的モデルを探ることである.
言葉で説明がしにくい雰囲気を解明するためのアプローチは,従来の工学的なやり方にこだわることなく,擬人化エージェントなどを用いた構成的手法,エスノグラフィー調査,発汗や脈拍計測のような生理指標や脳計測実験の利用など,様々な手段で取り組んでいく必要があると考えている.具体的な研究対象としては,多人数の会話の場,複数の会話エージェントや会話ロボットなどの人工的な言語・非言語情報による会話の場,Webメディアにおける複数人の言語活動(twitterやSNS)から推測されるネット上の雰囲気などが挙げられる.これらから,複数人が創り出す「雰囲気」を構成する工学的モデルを探り,モデルに基づいた新たな対話エージェントや新しいネットワークコミュニケーションシステムの確立を目指す.
雰囲気の議論は始まったばかりであり,有用な知見や考察が得られているわけではない.従って本稿は,「雰囲気」に関連する情報をまとめた内容になっている点についてご容赦いただければ幸いである.
雰囲気工学の文献
- 片上大輔,雰囲気の工学的生成は不可能か?,人工知能学会全国大会,1J3-OS-22a-1,2013
- 湯浅将英,エージェントによる雰囲気研究の可能性,人工知能学会全国大会,1J5-OS-22c-3,2013
学会・研究会・国際会議
- CHI Computer–Human Interaction
- Human-Computer Interaction分野のトップカンファレンスの一つ.HCIに関する多彩な発表がある.
多人数の会話や視線のインタラクションを扱うシステムやロボットなど,雰囲気にも関連しそうな研究発表もある. - HCII Human-Computer Interaction International
- HCIに関するカンファレンス.大規模な会議で参加人数も多い.
- CSCW Computer-Supported Cooperative Work and Social Computing
- 遠隔コミュニケーションシステムの開発研究,テレプレゼンス研究についての発表などがある.
- HAI Human-Agent Interaction
- 日本を中心に始まった人間とエージェントの相互作用に関する国際会議.第3回が初めて海外で行われた.
- HAIシンポジウム Human-Agent Interaction Symposium
- 2006年から毎年行われている人間とエージェントの相互作用に関する国内シンポジウム.毎年100名強の参加者が集まる.
- 人間共生システム研究会(日本知能情報ファジィ学会)
- コミュニケーション支援専門研究会(ヒューマンインタフェース学会)
- ヒューマンコミュニケーション基礎研究会(電子情報通信学会)
- コミュニケーション支援専門研究会(ヒューマンインタフェース学会)
書籍
- 山田誠二:人とロボットの間をデザインする,東京電機大学出版局(2007)
- ヒューマン・エージェント・インタラクション(HAI)の入門書で,エージェント/ロボットとのインタラクション研究を集めている.
- Dario D. Salvucci, Niels A. Taatgen:The Multitasking Mind,Oxford University Press, 2010.
- 認知科学分野における,マルチタスク・割り込みに関する主要な研究が網羅され,認知モデルの解説に沿って紹介されているため,理解し易い本となっている.
- 加藤象二郎,大久保堯夫:初学者のための生体機能の測り方-第2版-,日本出版サービス(2010)
- 様々な生体機能の測り方や見るべき数値,使用する機器が細かく説明されており,まさに初学者のための解説書となっている.
- 山本七平:「空気」の研究,文春文庫(1983)
- 雰囲気と類似した「その場の空気」についての分析を行っている.戦時中の日本などを例に,人間が空気には抗えないことを述べている.
- 鴻上尚史:「空気」と「世間」,講談社(2009)
- 日本人がよくとらわれてしまう実体のよくわからない空気の正体に,実例や先行研究(上記の「空気」の研究など)を踏まえながら迫っている.どのようにして空気が生成され,どのように対応すればよいのかについて,人気脚本家の視点でわかりやすく解説している.
関連分野の研究者
- 今井順一 先生 千葉工業大学 情報科学部 情報工学科
- エージェントの「曖昧な情報表出」が人間に与える印象についての検証や,ロボットやエージェントを介在させて対人緊張を軽減する研究を行っている.
- 上田博唯 先生 京都産業大学 コンピュータ理工学部
住める家でのインテリジェントハウス研究 - 小型ロボットPhynoを用いた対話コミュニケーション実験やユビキタス環境における実証実験など,またアバターロボットによる遠隔地の雰囲気の生成にも取り組んでいる.
- 大須賀昭彦 先生 電気通信大学 大学院情報システム学研究科
- エージェント指向技術の研究を行っている.ネット上の炎上の同定と応用の研究を行っている.
- 鈴木宏昭 先生 青山学院大学 教育人間科学部教育学科
- 認知科学,高次認知系を専門とし,人間の心と身体が生成する相互作用について研究を行っている.
- 中野有紀子 先生 成蹊大学理工学部情報科学科
- ユーザの言語・非言語情報に応じたエージェントによる対話制御,多人数会話への介入,加速度センサを用いたグループディスカッション時の状態変化の検出などを行っている.
- 武川直樹 先生・大島直樹 先生 東京電機大学 情報環境学部
- 話し出しやすい会話の「場」をデザインするロボットの開発,会話の流れを媒介する発話介在ロボットのデザインを行っている.
- Niel A. Taatgen (University of Groningen)
- 認知科学モデルに基づき,fMRI等を用いて,マルチタスクや割り込みの影響に関する研究を行っている.
- Gloria Mark (University of California)
- 実環境において,メディアが作業者の雰囲気・ストレス・行動にどのような影響を与えるかの研究を行っている.
雰囲気を伝達するシステム
Shojiシステム(雰囲気コミュニケーション端末),東京大学
離れて暮らす家族や恋人などの様子を知ることができる遠隔コミュニケーションシステムとして,Shoji(雰囲気コミュニケーション端末)が開発されている.部屋内にあるセンサから温度や明るさ,人の有無,感情的音声などを捉えて,ネット越しの遠隔地にある専用の端末に色や明るさで反映する装置である.部屋の雰囲気のセンシングと遠隔地同士の雰囲気を結ぶコミュニケーション研究について先駆的なものである.
- 雰囲気コミュニケーション端末,東京大学 新領域創成科学研究科 人間環境学専攻 人間環境情報学分野
- 酒造正樹, 山本泰史, 志村誠, 門間史晃, 光吉俊二, 山田一郎:情動・感情判別のための自然発話音声データベースの構築, 情報処理学会論文誌, Vol.52, No.3, 2011.
- 酒造正樹, 山本泰史, 志村誠, 門間史晃, 光吉俊二, 山田一郎:情動・感情判別のための自然発話音声データベースの構築, 情報処理学会論文誌, Vol.52, No.3, 2011.
- Masaki Shuzo, Ichiro Yamada, “SHOJI: A Communication Terminal for Sending and Receiving Ambient Information,” Emotional Engineering, Springer, pp.21-38, 2011.
SmoothSpace(NECネッツエスアイ)
プロジェクションマッピングを活用し,離れた空間同士をつなぐコミュニケーションを実現する「SmoothSpace」が開発されている.SmoothSpaceでは四隅など壁が垂直に交差する場所に設置することで,すぐ隣にあるかのような雰囲気を感じられる.
アバターロボットによる雰囲気伝達システム,京都産業大学
映画鑑賞を見ている人の動きをアバターロボットで再現し,雰囲気を伝達するシステムが提案されている.映画を見ている人の体の動きや見ている方向などを遠隔地にあるアバターロボットに伝達し動きを反映することで,友人と一緒に映画を見ているような雰囲気を得ることができる可能性がある.人型ロボットの動きであっても,動作の抽出と伝達,再現をおこなうことで人がいるかのような雰囲気を生成できることは画期的と考える.
- 米澤謙,上田博唯:遠隔地の複数鑑賞者の存在感を表現するテレプレゼンスロボット, エンタテインメントコンピューティングシンポジウム2013論文集, pp.278-282, 2013.
- 米澤謙,上田博唯:遠隔コミュニケーションシステムにおけるアバターロボットの頭部動作制御の効果,電子情報通信学会MVE2014-47, pp.129-132, 2014.
社会心理学と雰囲気
コミュニケーションにおける雰囲気の役割を考えたとき,社会心理学的知見が参考となる.特に,対人的相互作用における情報処理という観点で雰囲気を捉えると,工学的な応用に展開できる可能性がある.雰囲気の構築に関する概念として,共有リアリティ(shared reality)が挙げられる.これは他者と同じ方法で自分も世界を体験している感覚のことを指し,他者と情報交換を行うプロセスを通して構築される.雰囲気がコミュニケーション時に構築・共有されるものだと考えると,共有リアリティとの関係性について検討する余地があると考えられる.
コロンビア大学のトーリー・ヒギンズ教授は,現実の自己と理想の自己との一致の度合いによって自尊心が変動するという自己不一致理論で有名であるが,共有リアリティの視点から対人関係に関する様々な研究を展開しており,雰囲気の構成要素や制御方法を考える上で視野を広げることができると考えられる.
音楽と雰囲気
音楽の研究において「雰囲気」に関する研究はまだほとんどないが,音楽を用いた雰囲気生成の際に参考になる事項について紹介する.
作曲家の試みと雰囲気
1990年代の作曲家の取り組みには雰囲気のとらえ方や生成方法を垣間見ることができる.例えば,エリック・サティ(1866-1925)は,曲名「家具の音楽」のように「家具」を題材に日常に溶け込む音楽を作ろうと試みた.また「ヴェクサシオン(嫌がらせ)」は聴取者を嫌な気分にさせる作品である.ジョン・ケージ(1912-1992)は日常にある偶然性に注目し「易」で作成した作品や“あえて何も演奏せず,観客は周辺の音を聞く”作品を発表している.ブライアン・イーノ(1948-)が提唱した「環境音楽」は,雰囲気生成を試みたものと考えられる.この時代のほかの作曲家の作品や試みからも雰囲気との関係を見いだすことができる.
BGMの歴史
BGMによって作業効率を上げるという目的で,1930年代にMuzak社が工場や商店に音楽を提供している.Musak社を皮切りに様々なBGMを提供するビジネスが発達してきた.BGMの歴史についてはジョセフ・ランザのElevator Musicに詳しく記述されており参考となる.残念ながら日本語翻訳版は絶版になっている.
情動と音楽の研究
参考になる学術的な分野の一つに,音楽と情動の研究がある.これらの研究は学際的な分野で,さまざまな分野の研究が入り組んでいる.さらに,情動という用語が曖昧であることもあり,雰囲気として見て取れる事象も扱っている.Handbook of Music and Emotionは横断的にこれらの研究分野の知見が記述されており参考になる.
少々古い文献になるが,Leonardo Mayer, Eugene Narmour, Daniel Ellis Berlyneなどが著した文献は現在でも多く引用されており,期待の逸脱,不確実性に関する理論が提案されている.これらにおける情報の扱いは雰囲気との関係性が深い可能性がある.理論の詳細は,「Emotion and Meaning in Music」「The analysis and cognition of basic melodic structures」「Aesthetics and psychobiology」というタイトルの本に詳しいが,古い文献であるため上記にあげたHandbook of Music Emotionなどを参考にするとよいであろう.
また,音楽と情動の国際会議(International Conference on Music & Emotion)も隔年で行われており,今年度で4回目である.この会議では最新の音楽と情動の研究が発表されている.
日本語でこれらの分野を概観するには,大村らの総説論文も参考になるであろう.
音楽情報処理の研究
音楽を工学的に作るという点では,音楽情報処理分野が参考になる.これらの分野は, 平田氏,北原氏の私のブックマークが参考になるだろう.近年では,音楽情報処理分野の会議でも情動に関する研究が発表されることもある.
また,2010年から情報処理学会,音楽情報科学研究会,計算論的生成音楽学ワーキンググループが活動している.これは,国内の工学的な観点から音楽生成に関わる研究者が集まる会である.
音楽と数学の研究
音楽の構造を定量的に扱うためには数学の分野も重要である.この分野はSociety for Mathematics and Computation in Musicが開催する国際会議が参考になる.
会話と雰囲気
“ある人が話し終わった後,別の人が話し出す発話の接続・移り変わり”である「発話交替(順番交替)」に関して,円滑化の仕組みを探る等,発話交替を対象とした研究がされてきている.その中で,発話交替時の振る舞いにより,会話の盛り上がりや雰囲気も変化することが調べられている[木村2007][湯浅2010].たとえば,ある人が話し終わった後,発話が重なったり,あるいは誰も話さず沈黙したりすると気まずい雰囲気になる.このように発話交替時の振る舞いは,その後の会話の流れや雰囲気も左右されることがエージェントやロボットで確かめられつつある.発話交替についての研究は,下記で議論されている.
- 電子情報通信学会ヒューマンコミュニケーショングループ(HCG)HCGシンポジウム
- 電子情報通信学会ヴァーバル・ノンヴァーバル(VNV)研究会
- 人工知能学会言語・音声理解と対話処理研究会 SIG-SLUD
- 木村幸士,湯浅将英,武川直樹.多人数エージェントによる会話の雰囲気生成-文字ばっかり読んでないで空気読め-, HAI シンポジウム2007, 1E-3, 2007.
- 湯浅将英,木村幸士,武川直樹,寺井仁:多人数エージェントの発話交替により現れる雰囲気の分析~気まずい会話・仲良し会話~,電子情報通信学会HCS2010-17, pp.91–96,2010.
- 電子情報通信学会ヴァーバル・ノンヴァーバル(VNV)研究会
哲学と雰囲気
雰囲気について哲学的考察を試みたフーベルトゥス・テレンバッハは著書「味と雰囲気」にて「口腔感覚」と「におい」を出発点とし,人は味やにおいから雰囲気を汲み取る,と考察している.ヘルマン・シュミッツは感情は内面ではなく雰囲気的に「辺りに広がるもの」と捉えている.それを受けてゲルノート・ベーメは現象学の立場から「雰囲気は情感づけられた空間」と考えている.さらにベーメは著書「雰囲気の美学」において,様々な雰囲気を取り上げ,夕暮れの雰囲気や都市の雰囲気,音響的雰囲気,コミュニケーションにおける人同士の雰囲気も考察している.他に,現象学をベースに雰囲気の哲学的考察が進められている.また,小川は著書の中で,日本語における「気」に注目し,生気,陽気,血気,雰囲気や空気といった表現があることと,ドイツや他国においても「張り詰めた空気」「分厚い空気」のような表現があり,雰囲気についてほぼ同じ感覚を持っていることも述べている.このように,これまでにシュミッツとベーメを中心とした様々な考察が述べられているが,雰囲気の定義や分類はまだ具体的とはいえない.現象学をベースにした研究が進められていくことで雰囲気も定義や全体像も明らかになり,工学的応用も試みられていくと考える.
シュミッツやベーメに関する情報は,以下を参考にするとよい.
- 東京大学大学院総合文化研究科・教養学部 共生のための国際哲学研究センター
- テレンバッハ『味と雰囲気』 宮本忠雄,上田宣子共訳,みすず書房,翻訳1980,原著1968
- シュミッツ現象学の根本問題,梶谷真司, 京都大学学術出版会, 2002.
- ゲルノート・ベーメ:雰囲気の美学,梶谷真司, 野村文宏, 斉藤渉共訳,晃洋書房2006訳,原著1998
- 「雰囲気と集合心性」 小川侃 京都大学学術出版会 2001.
オフィスと雰囲気
一般的な会社のオフィスでは,複数人のオフィスワーカが集まり,個人または複数人で作業に従事している.一般事務を業務とするオフィスでは,電子的なペーパワークやプログラム開発などの個人作業と,時折,必要に応じて業務に関連した質問や相談,連絡や調整といったローカルなコミュニケーションが発生する.すなわち,オフィスでは,個人作業と,間欠的に発生する疎な共同作業の間の遷移を繰り返し,さらに,会議や打ち合わせ等の密な共同作業も実施される.個人作業から疎な共同作業に遷移する際は,電話や話しかけなどの割り込みによって行われるが,集中度の高い状態よりも,よりアイドリングに近い状態の方が望ましいため,人は対象となる人物やグループを観察して「雰囲気(忙しさ,集中度合いなど)」を感じ取り,タイミングを見計らっている.個人の忙しさに関する研究では,作業量や作業の切れ目発生の検知,作業中の個人の姿勢変化を用いる手法などが提案されている.複数人の作業者が同一室内で作業するオフィスでは,ざわついた室内であれば比較的声を掛け易い一方で,静粛なオフィスでは躊躇される.すなわち,作業者本人を取り巻く環境要因も雰囲気の判断に影響すると言え,マイクやカメラ画像からの室内のざわつきとの関連も検討されている.
- Interriptions.net:割り込み研究に関する文献を集めたサイト.定期的に更新されている.
- 超臨場感テレワークシステムWG
- 持続可能社会にむけた知的情報空間技術の創出.東京農工大学知的情報空間プロジェクト.
- 田中貴紘,藤田欣也:オフィスワーカの状況推定ー割り込み拒否度を中心にー,電子情報通信学会誌 “特集 人間を理解するためのICT技術-人間を対象としたセンシング・情報処理からその応用まで-”,Vol.95, No.5, pp.457-460, 2012.
- 超臨場感テレワークシステムWG
- 本田新九郎,富岡展也,木村尚亮,大澤隆治,岡田謙一,松下温:作業者の集中度に応じた在宅勤務環境の提供:仮想オフィスシステムValentine,情報処理学会論文誌, Vol.39, No.5, pp.1472-1483, 1998.
- 水口充,竹内友則,倉本到,渋谷雄,辻野嘉宏:デスクワークにおける忙しさの自動推定,ヒューマンインタフェース学会論文誌, Vol.6, No.1, pp.69-74, 2004.
- Takahiro Tanaka, Ryosuke Abe, Kazuaki Aoki and Kinya Fujita, Interruptibility Estimation based on Head Motion and PC Operation, International Journal of Human-Computer Interaction, Vol.31, Issue 3, pp.167-179, 2015.
ツール
3Dのエージェント(キャラクタ)研究のツールとして,TVML,MMDエージェント,Makehumanをあげる.
- TVML
- TVMLは簡単なスクリプトでTV番組を制作するためのツールである.画面内に複数のキャラクタを登場させて,音声発話や表情変化,仕草を自在に表現,スクリプトで制御することができる.TV番組風のセットも用意され,様々なシチュエーションにおけるシーンを作成することができる.
- MMDエージェント
- MMDエージェントはオープンソースのエージェント(キャラクタ)制御のツールキットで,音声合成,音声認識,表情や仕草の描画ができるツールである.人のコミュニケーション・インタラクションに関する実験にMMDエージェントが活用されている.また人狼ゲーム内でのプレイヤー同士の仕草の検証のため,MMDエージェントが人狼ゲームに実装されている.
- Makehuman
- Makehumanはオープンソースの人体モデリングソフトである.年齢,性別,人種の異なる人体を3Dモデルにて生成することが可能である.また,生成したモデルは他の3Dモデリングツールにてモデルとして利用することができる.
謝 辞
まだ始まって間もない活動にも関わらず興味を持っていただき,このような機会を与えてくださった,篠田孝祐先生(電気通信大学)と本誌編集委員会に深く感謝いたします.たいそうな名前がついておりますが,このような分野が確立されているわけではなく,また今回の情報も関連情報の全てを網羅しているわけでもなく,筆者らの主観で有用と思われる情報をピックアップして紹介させていただきました.これから関連の研究を行われる方の助力になれば幸いです.