【記事更新】私のブックマーク「バーチャルビーイング」

私のブックマーク

バーチャルビーイング

畑田　裕二（東京大学大学院情報学環），佐久間　洋司（大阪大学大学院基礎工学研究科）

1．はじめに

　私達の身の回りには「バーチャルな身体をもつ存在」があふれている．それらは，これまでも人工知能（AI）やバーチャルリアリティ（Virtual Reality：VR）などの分野で盛んに研究されていた．このバーチャルな身体をもつ存在（Being）はおおざっぱにいってしまえば，私達に代わって自律的に振る舞う「エージェント」と，私達ユーザが操作・制御する「アバター」に分けられる．
　本稿では，アバターとエージェントという二つの概念をバーチャルな身体をもつ存在として包括する「バーチャルビーイング」という概念を検討し，これに関連する学術分野や事例をサーベイ的に取りまとめることを試みたい．バーチャルな身体をもつ存在に一つの名前を与えることで，これまでAIとVR，アバターとエージェントのそれぞれの分野で独立に探求されてきた技術や知見の相互交流を促し，活発な議論やコラボレーションが生まれるのではないかと期待している．
　なお，「機械の身体をもつ存在」は，エージェントとして自律するものであれ，アバターとして人が操作するものであれ，ロボットという一つのラベルで包括的に指される．このロボットという概念は，エージェントやアバターなど異なる概念をつなぐ架け橋になっていたのではないだろうか．
　もちろん，本稿だけではバーチャルビーイングという概念の明確な定義を示すことはできない．本稿で行われるのは，AIとVRのそれぞれの分野における研究者が，それぞれの視点からバーチャルビーイングという名前を受け止め，そこから連想した学会や論文，Webサイトなどの情報をまとめることである．このブックマークの束が，バーチャルな身体をもつ存在に惹かれ，探求したり，実装したりする際の一助となれば幸いである．

2．人工知能研究

　人工知能（AI）は，コンピュータを用いて知能を構成することを目指した研究分野として発展してきた．人工知能の分野においてもインターネット越しに振る舞う自律エージェントなど，バーチャルビーイングに関連する研究が数多く行われてきた．多様なエージェント研究に加えて，認知科学研究や，人間と人工物・人間と人間の相互作用を支えるインタラクション研究も盛んである．生命らしいものを人工的に構成することで生命性の本質を探る人工生命もバーチャルビーイングの本質に関わる研究といえる．
　その他，隣接分野でも社会において対話やコミュニケーションを行うソーシャルロボットや，感情の分析や表現を担うアフェクティブコンピューティング，モーションキャプチャや描画を行うコンピュータグラフィックスなどがバーチャルビーイングを支えている．さらに近年ではGPTなどを筆頭に大規模言語モデル（Large Language Model：LLM）が注目されており，Stable Diffusionなどの画像生成 AIによるキャラクタイラストの生成とあわせて，それらを活用したVTuberの人工知能（AITuber，AIVTuber）もバーチャルビーイングといえる．今後は倫理的な側面からもバーチャルビーイングの研究が必要になるであろう．

2･1　書籍・論文

　本誌の読者にとっては見知ったものも多いと思われるが，人工知能分野でバーチャルビーイングに関連する入門的な書籍や関連する論文などを紹介する．
　まず，人工知能の入門的な書籍，および機械学習や深層学習，トランスフォーマーモデルについての書籍，ならびに関連するWebサイトである．

　以下は，インタラクション研究や，エージェントに関する入門的な書籍，論文である．

　認知科学や哲学の側面から，身体やバーチャルな身体性に触れている書籍もある．

　人工生命については，下記のような入門書があげられる．

　より詳しい内容については，本誌 Vol. 38, No. 4（本号）にて「バーチャルビーイング」が特集されており，前掲書籍の著者の先生方を含む専門家によってバーチャルビーイング研究が概観されているので，ぜひご覧いただきたい．

  • Mel Slater，板谷玲哉：VR研究の軌跡と未来展望，人工知能，Vol.38, No.4, pp.449-453（2023）
  • 鳴海拓志：Being TransformedからCybernetic Beingへ─人間拡張における物語的転回─，人工知能，Vol.38, No.4, pp.454-463（2023）
  • 高橋英之，中橋侑里，植田杏奈，ソニア・ユーフイ・ザン，神野和季，亀尾菜保子：心のインフラとして機能する寄り添うバーチャルビーイングの創成を目指して，人工知能，Vol.38,No.4, pp.464-470（2023）
  • 三宅陽一郎：バーチャルビーイングによる人間と空間の拡張─メタバースとスマートシティにおけるバーチャルビーイング─，人工知能，Vol.38,No.4,pp.471-478（2023）
  • 池上高志：ALifeにおける自律性と環境の開かれ，人工知能，Vol.38,No.4, pp.479-482（2023）
  • 玉城絵美：マルチスレッドライフスタイルを目指す固有感覚の伝達研究とその効果，人工知能，Vol.38,No.4,pp.483-487（2023）
  • 難波優輝，大澤博隆：バーチャルYouTuberという実験場─コミュニケーション，インタフェース，フィクションの交差点─，人工知能，Vol.38,No.4, pp.488-493（2023）
  • 佐久間洋司， PIEDPIPPER：バーチャルシンガーを実在化させる技術と演出の実践的報告，人工知能，Vol.38,No.4,pp.494-501（2023）
2･2　学会・研究会・国際会議

　人工知能分野における主要な学術会議としてはAssociation for the Advancement of Artificial Intelligence（AAAI）とAssociation for Computing Machinery（ACM）などがあげられるが，そのうちバーチャルビーイングに関連する国際会議としては以下がある．

　その他，人工知能とインタラクションの学際分野では，Human-Agent Interactionや Human-Robot Interactionに関する国際会議などにも関連する発表がある．

　その他には，International Conference on Multimodal Interfaces（ICMI）， International Conference on Artificial Intelligence and VirtualReality（AIVR），ACM International Conference on Intelligent Virtual Agents（IVA），International Conference on Affective Computing＋Intelligent Interaction（ACII），IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent AgentTechnology（WI-IAT），InternationalConference on Intelligent Robots and Systems（IROS），International Symposium on Robot and HumanInteractive Communication（RO-MAN），International Communication Association（ICA），Conference on Artificial Life（ALife）などの関連会議があげられる．

　関連する国内の学会や研究会としては，人工知能学会の研究会としては言語・音声理解と対話処理研究会（SIG-SLUD）や社会におけるAI研究会（SIG-SAI），人工生命研究会などがある．
　情報処理学会ではヒューマンコンピュータインタラクション研究会，エンタテインメントコンピューティング研究会，知能システム研究会，デジタルコンテンツクリエーション研究会などがあげられる．
　電子情報通信学会はヒューマンコミュニケーショングループ，ヒューマンコミュニケーション基礎研究会，ヴァーバル・ノンヴァーバル・コミュニケーション研究会，メディアエクスペリエンス・バーチャル環境基礎研究会なども関連する．その他，日本認知科学会，ヒューマンインタフェース学会，計算社会科学会，日本ロボット学会，HAIに関する国内会議HAIシンポジウムでもさまざまな発表が行われている．関連する論文誌としては， Science Robotics，Nature Human Behaviour，Nature Machine Intelligence，IEEE Transactions on Artificial Intelligence，IEEE Transactions on Affective Computing，ACM Transactions on Human-Robot Interaction，Artificial Life，International Journal of Human– Computer Interactionなどがある．

2･3　Webサイト / ツール

　ここでは，エージェントとしてのバーチャルビーイングの実装を可能にするような最新のモデルやサービスについてまとめる．生成AIやその利用方法などが中心になる．

§1　大規模言語モデル
§2　画像生成 AI
  • Stable Diffusion：Stability AIが開発する画像生成AIで，入力したテキストから画像を生成する．APIが整備されており，オープン化されている．
  • Midjourney：代表的な画像生成AIの一つであり，Discordコミュニティに参加してリクエストを送ることで画像生成ができる．
  • nijijourney：Midjourneyのモデルを二次元のアニメ風のイラストレーションなどに特化させたのがにじジャーニーである．その他に，NovelAIなどの有料サービスもある．
§3　VTuber・ AITuber配信ソフトなど
  • Live2D：レイヤ分けされたキャラクタのイラストをモデリングすることで，指定したモーションに沿ってアバターを動かすことができる．
  • VTube Studio：WebカメラとiPhoneのフェイストラッキングを利用して，Live2Dモデルの操作ができるソフトウェア．
  • OBS Studio：OBS Projectが開発しているオープンソース，無料の配信ソフトウェアで，Live2Dなどと組み合わせてVTuberの配信に用いられている．OBSはOpen Broadcaster Software®の略．
  • Koeiromap：rinna株式会社が開発・検証中の音声変換システムで，マップ上の座標を指定することで異なる声色の音声が生成できる．
§4　AIを活用したツール

　やや趣旨は異なるが， LLMなどの人工知能を活用した代表的なツールについても紹介する．

  • Connected Papers：論文を一つ指定すると関連する論文をグラフとして提示する．内容の近さや引用数の大小があわせて可視化される．
  • Elicit：言語モデルを用いた文献レビューの支援サービス．キーワードを入力すると関連する単語なども含めて論文を提示する．
  • Perplexity AI：最新のソースも含めて検索可能な対話型検索サービスで，具体的なソースのURLも提示されて確認できる．

3．バーチャルリアリティ研究

　バーチャルリアリティ（VR）は，感覚刺激が織りなす意識や身体体験としての「現実」を人工的につくり出す工学技術として発展してきた．VR分野においてバーチャルビーイングは，自律的に行動する「エージェント」や，ユーザが操作する「アバター」の両側面において多様な研究が展開されている．近年，アバターを通じて他者と交流するソーシャルなバーチャル環境である「メタバース」に対する注目が高まっていることを踏まえると，バーチャルビーイングに関する研究は今後ますます重要になるだろう．
　技術的観点からバーチャルビーイングの実現手法が，心理学的・社会学的観点からバーチャルビーイングの性質が，教育，訓練，エンタテインメント，メンタルヘルスなどさまざまな分野においてバーチャルビーイングの活用方法が，それぞれ探求されている．特に，エージェント研究では，エージェントと「一緒にいる」という感覚を表すソーシャルプレゼンス（Social Presence）が，アバター研究では，アバターの動きを実身体の動きと同期させることで，あたかもそれが自分の身体であるかのように感じ，制御できる状態として身体化（Embodiment）などが，それぞれ重要なキーワードになっている．

3･1　書籍・論文

　VR（AR）という技術や研究分野一般について解説した書籍としては，以下があげられる．

　ほかにも， VR分野全体を概説した論文として，例えば以下が参考になるだろう．

　近年では，2021年10月にFacebookが社名を「Meta Platforms」に変更したことで，次世代のコミュニケーションプラットフォームである「メタバース」が，VRやAR（Augmented Reality）の目指す未来として，そして今後の社会基盤を担う技術として，世界的な注目を集めている．2022年を境に数多くの「メタバース」に関する書籍が出版されてきたが，例えば以下のものがある．

　メタバースは今や，新たな文化が生まれる現場であり，産学の両分野において注目を集めている．倫理的観点を含む，メタバースを舞台にどのような研究をどのようにして進めていくべきかに関する議論は，以下を参考にされたい．

　ただし，メタバースを筆頭に，VR分野には数多くの定義の曖昧な概念が存在している．例えば以下の概念は，現在もなおその定義が揺れており，分野全体で必ずしも統一的に理解されてはいないことを知っておくことは有用かもしれない．

　また，ある新しい概念の定義について検討する際には，以下の記事も参考になる．

　VRにおいてアバターは，三人称視点から眺めるものではなく，一人称視点で体験するものとして広く探求されてきた．VRにおけるアバター研究は，それをさながら実身体のように感じ，制御できる状態（Embodiment）の条件を探る心理学と，それを認知拡張や人間拡張へと応用する工学の両分野において盛んに行われている．

Embodimentのレビュー論文：
アバターによる身体変容がユーザの振舞い・態度に影響を与えるとする「プロテウス効果」に関するレビュー論文とメタ分析：
プロテウス効果をはじめとするアバター体験を通じた認知変容を積極的に活用していく方法論「ゴーストエンジニアリング」の概説：

　アバター体験を通じた認知変容に関する研究は，前掲の認知科学講座1　心と身体に加え，以下の書籍や論文に詳しい．

　さらに，アバターを含む幅広い身体拡張，人間拡張に関する研究は，例えば以下の書籍に詳しい．

3･2　学会・研究会・国際会議

　上で紹介してきた文献が発表される学会・研究会・国際会議などを列挙すると，以下のようになる．

3･3　Webサイト・ツール

　バーチャルビーイングやそれを利用するためのバーチャル環境を開発するツールとして，以下に代表されるゲームエンジンがある．

　いずれも公式チュートリアルが充実しており，分野を問わず世界中で多くの人々に活用されている（Unityチュートリアル，Unreal Engineチュートリアル）．また，両ゲームエンジンに関するカンファレンスも年に一度開催されており（Unite，UNREAL FEST），バーチャルビーイングにも深く関わる開発上の知見が共有されている．またそうしたゲームエンジンで使用する 3Dモデルの開発には，無料かつオープンソースのBlenderやAutodesk社のMayaや3ds Maxなどが活用されている．
　産業界で活用されているツールのみならず，学術研究のためにもさまざまなライブラリーやツールが開発されてきた．

　Microsoft Researchはさらに，Rocketbox Avatar library向けのツールキットもあわせて公開している．

　他にも，プレゼンスやEmbodiment，アバター研究の第一人者であるMel Slaterらの研究チームは，バーチャル環境でアバターを用いた研究を行う際に有用なアセットをパッケージ化して公開している．

4．社会実装

　バーチャルビーイングは学術研究に留まらず，すでにビジネスやエンタテインメントにおいて急速な社会展開をしている．
　まず，学術的な大型イベント・展示会においても，バーチャルビーイングやその関連技術についてのセッションが開催され注目を集めている．

　エンタテインメント分野では，バーチャルYouTuber（VTuber）と呼ばれる，バーチャルな身体を用いる動画配信者が大きな人気を博している．各VTuber事務所は，バーチャルビーイングを活用した新たなエンタテインメントを提供しており，世界中のファンを惹きつけている．

  • ホロライブ：国内外で活躍するVTuberを多数擁するVtuberグループで，配信だけでなく音楽活動なども行っている．運営会社はカバー株式会社．
  • にじさんじ：男性女性ともに個性豊かなVTuberが所属し，リアルタイムでの動画配信や動画制作を通じたエンタテインメントを提供．運営会社はANYCOLOR株式会社．

　動画配信者に限らず，バーチャルシンガーやバーチャルタレントなどと呼ばれるバーチャルビーイング（自律するエージェントである場合も，人間が操作するアバターである場合もある）も注目を集めている．

  • KAMITSUBAKI STUDIO：花譜をはじめとするバーチャルシンガーが多数所属しており，オリジナル楽曲の制作やライブパフォーマンスを行う．所属するバーチャルシンガーの歌声を学習させた音声合成ソフトを中心とする音楽的同位体なども展開している．運営会社はTHINKR株式会社．
  • imma：ファッションブランドの広告などに出演しているバーチャルモデル．運営会社は Aww Inc.．

　また，ユーザ自身がバーチャルビーイングとなり，他のユーザとのコミュニケーションやエンタテインメントを楽しむことを可能にするアプリケーション・サービスも数多く登場している．ソーシャルVRプラットフォーム（あるいはメタバース）では，自分自身のアバターを用意し，バーチャルビーイングとして他のユーザと交流することがすでに日常化しているユーザもいる．

  • REALITY：自分のアバターを作成し，スマートフォンで他のユーザとコミュニケーションを取りながらライブ配信を行うことのできる，国内発メタバースプラットフォーム．
  • VRChat：自由度の高さと User Generated Contentsに特徴のある，世界的に利用者の多いソーシャル VRプラットフォーム．
  • cluster：ライブイベントやカンファレンスの実施にも向いている，国内発のメタバースプラットフォームサービス．
  • Rec room：アクティビティやミニゲームでの遊びが特徴的なソーシャルVRプラットフォーム．
  • Fortnite：バトルロワイヤルゲームとしてスタートしたが，現在ではユーザ自らバーチャル環境を制作・公開できるメタバースプラットフォームへと進化を遂げている．

　さらには，テキストや音声でユーザと対話を行うエージェントや，音声合成ソフトとして音楽制作に用いられているソフトウェアも，バーチャルビーイングの一員だといえよう．

  • キズナアイ・キズナ：日本初のバーチャルYouTuberであるキズナアイと、彼女の歌声を学習させた歌唱特化型 AI『キズナ』も有名である．
  • AIりんな：テキストで対話を行うAI．ユーザとの対話を通じて学習し，個性を獲得していくのも特徴．
  • AIさくらさん：個人的な会話や生活相談に特化したテキストベースの対話AI．
  • 初音ミク：音声合成ソフトウェア．多くの人に楽曲制作において用いられているが，その特徴的な声とキャラクタデザインによって世界中から人気を博している．
  • 重音テト：元は有志がインターネット上で意見や素材を出し合い制作されたフリーの音声合成ソフトのキャラクタ．各地で人気を博した結果， 2023年に次世代歌声合成ソフトウェア『Synthesizer V』上で利用可能な歌声データベースとして発売が決定．

　私達の身の回りにはバーチャルビーイングがあふれている．バーチャルビーイングは，すでにさまざまな分野で活用されており，その可能性はまだまだ広がり続けている．

5．おわりに

　本稿では，AIとVRという二つの大きなテクノロジー領域における新たな交点として，バーチャルビーイングという概念を取り上げることを目指した．バーチャルビーイングとは，自律する存在であるエージェントと，人間が操作する存在であるアバター，これら二つの概念を包括する新たな存在を指す．
　これまでエージェントとアバターはそれぞれ異なる視点から研究されてきたが，バーチャルビーイングという共通の枠組みのもとでこれらを統合することにより，新たなコラボレーションの可能性が生まれる．異なる視点の統合によってこれまで見えてこなかった視野を開き，科学者，技術者，そしてエンドユーザの間での新しい議論の契機となること，バーチャルビーイングのさらなる理解と発展に寄与することが期待される．AIとVRの領域は学術的な視点だけでなく，ビジネスやエンタテインメントの観点からも重要で，これらの領域間での協働が新たな発見やイノベーションを生む可能性もある．
　しかし，本稿で扱う情報は必ずしもこれらの広大な領域をすべて網羅するものではない．本稿の目的は，バーチャルビーイングに関する初期の洞察を提供し，さらなる探求の一助となることである．この領域の探求は日々進化し続けている．本稿がその探求の出発点となり，読者にとって新たな視点や理解をもたらすことを期待している．

謝　辞

執筆に際して有意義なコメントを下さった高橋英之先生，鳴海拓志先生をはじめ関係の皆様にお礼申し上げます．