Vol.17 No.1 (2002/01) 音楽と人工知能

私のブックマーク

音楽と人工知能

　　平田 圭二 (NTT　コミュニケーション科学基礎研究所)

1. はじめに

最近，知人の大学教官の方より
「時々，学生で音楽をやりたいと言ってくるのが居るんだけど，何から勉強させていいのか良く分からない」，「そもそも，音楽と人工知能にはどういう研究テーマがあるのか分からない」，「あのComputer Music Tutorial の翻訳本を買ったんだけど，厚すぎてどこを読んでいいのかさっぱり分からない」と言われました．
そのような大学教官の方々に，少しでもご参考になればと思い，本欄をお引き受けした次第です．

音楽と人工知能という分野には，AI 的なテーマはもちろんのこと，信号処理，ユーザインタフェース，ハードウェア等まで関連して来ますが，本ページでは特に音楽知識の表現や推論に関連の深いサイトに重点を置いて集めてみました．

2. 研究者や研究グループ

古来より百聞は一見に如かずと申しますように，実際に今誰がどんな研究を進めているのか，どんな音楽システムを作っているかをまず見てみる，聴いてみるというのが早道かと思います．

  • David Cope(UC Santa Curz) はもともと音楽学者ですが，1981 年より Experiments in Musical Intelligence (EMI) という作曲システムの開発を続けています．これまで，世界中で星の数ほどの楽曲生成システムが研究開発されていますが，EMI はその中でもクオリティの高い楽曲を創作することで有名です．EMI は内部のデータベースから適切なメロディ断片を検索し，ある音楽文法に従って接続していきます．Cope は，EMI に関連して三部作<Computers and Musical Styles，Experiments in Musical Intelligence，The Algorithmic Composerを執筆しており，その著作を通じて EMI の動作や設計思想を十分に理解することが可能です．
  • Gerhard Widmer(Univ. of Vienna, Austrian Research Inst. for AI (OFAI)) は，機械学習やデータマイニングに興味を持つ AI 研究者であり，その応用として音楽を取り扱っています．クラシック古典派音楽を対象として，機械的なピアノ演奏に抑揚や表情を付けるために，多数の模範演奏からの演奏規則抽出に長年取り組んでいます．現在の前進となった研究プロジェクトについてはJNMR の論文 (1996) が参考になります．
  • Josep Llus Arcos(Spanish Scientific Research Council (CSIC)) は，CBR によって表情の付いたサックス演奏を生成するシステムSaxExを作成しています．この CSIC のMusic and AI グループには，Ramon Lopez de Mantaras やXavier Serra も加わっています．
  • Robert Rowe (New York Univ.) はコンピュータ音楽の作曲家であり，Cypher
    というインタラクティブ音楽のためのシステム製作者として有名です．listener モジュールは Cypher に入力された音楽を特徴量空間にマップしフレーズを検出し音楽を理解します．player モジュールはその情報を元に，
    実時間でユーザにバリエーション豊かな応答を返します．Rowe は Cypher を解説した本Interactive Music Systemsを執筆しており，この本の音楽分析/合成システムに関するサーベイは大変良くまとまっていると思います．

  • Roger B. Dannenberg (CMU)は多才な方で，かつて Mach OS のプロジェクトに加わっていたこともあります．彼の研究テーマは多岐に渡っていますが，音楽と AI に関連したものとしては，歌や合奏の伴奏システム，演奏スタイル分析，音楽プログラミング言語の設計，そして最近始めた音楽検索などがあります．また自動伴奏の研究成果の一部は商品化されています．
  • Peter Desain (Univ. of Nijmegen) とHenkjan Honing (Univ. of Amsterdam) は長年の名コンビで，1986 年頃から殆んどすべての論文を共著で執筆しています．NICI という研究センタで，主に音楽における時間認識と時間情報の表現に精力的に取り組んでいます．その実験のためのツール
    (例えば POCO は演奏の抑揚や表情を分析するツールです) や，その研究成果の応用としてビートトラッキングシステムを作成しています．

  • AI を意識して音楽理論を研究している研究所として，MIT メディアラボには Barry Vercoe 率いるMusic, Mind and Machine グループがあり，音楽検索，メロディ聴取，音楽的嗜好性を研究しています．他にも，Karlsruhe 大学のInformation Structures in Musicというプロジェクト，UC Santa Barbara の電子アート研究所CREATE，スタンフォードにあるCCARHなどがあります．
  • その他海外の研究者には，Robert Bresin (KTH，演奏表情付け)，Ali Taylan Cemgil (SNN，ビートトラッキング) などが居ます．
    日本国内では，片寄研究室 (和歌山大)，沼尾研究室 (東工大)，小谷研究室 (東京農工大)，奥乃研究室 (京大)，後藤真孝氏 (産総研)などを挙げたいと思います．

一般企業で音楽と AI に関する研究を行っているのは，著者の知っている範囲では次の 3 つのように思います．

3. タメになる音楽理論のページ

自然言語だけに限らず，あるメディアを理解し操作しようとすれば，当然そのメディア固有の文法，語彙，構造に関する知識が必要になります．音楽も同様で，音楽の持つ構造やそれらが持つ意味を正しく表現しなければなりません．それが音楽理論なのですが，残念なことに「計算する」という点は殆んど検討されていません．
まずは，もっと音楽理論について深く学ぶためのサイトをご紹介したいと思います

機能和声や楽典などの基礎知識を良くまとめているのはCollege of William and Mary のA Handbook for Composition and Analysisです (しかも英語の音楽用語の使い方を知りたい時に便利です)．ただ多くの方々がこれらの事項はすでに良くご存知ですので，ここではその次のステージを目指したいと思います．

3.1 Generative Theory of Tonal Music

多くの音楽分析理論の中でも，Fred Lerdahl(Columnbia 大学) と
Ray Jackendoff (Brandeis 大学) によるGenerative Theory of Tonal Music (GTTM) は，言語理論から大きな影響を受けており，計算機による実装が最も有望視されている楽曲分析の理論の一つです．
チュートリアル (のようなもの) としては，Alan Ruttenberg (MIT メディアラボ) による資料があり，
音楽理論のオンラインレッスンのサイトやワシントン大学の音楽図書館などからも参照されており，意外に人気が高いようです．
後は，Heikki Valkonen (Univ. of Jyvskyl) による資料(図が一部不完全なのですが) や，Christopher L. Schatz (A-R Editions 社) による縮刷版 (と言っても，ちょっと長いのですが) が参考になるかと思います．
日本語版では，bit 別冊「コンピュータと音楽の世界」に掲載された竹内好宏氏による解説記事があります．

さらに，GTTM の基礎を成すシェンカー理論に関する入門サイトとしては，Schenker GUIDE (これは分かりやすいので，GTTM に入る前に読んでおいてもいいかも知れません) やSchenkerian Analysis があります．

3.2 Implication-Realization Model

音楽の形式化に関してこれまで GTTM を含む様々なアプローチが提案されてきました．
その中でも，GTTM と双璧を成すのが音楽学者Eugene Narmour(ペンシルベニア大学，写真はこちら)が提唱する Implication-Realization (I-R) モデルです．
I-R モデルのために執筆された本は
The Analysis and Cognition of Basic Melodic Structures (1990) とThe Analysis and Cognition of Melodic Complexity (1992) の2 冊です．
今回，I-R モデルの解説そのもののページは残念ながら見つけられませんでした．その代わり，Music Perception に掲載された Ian Cross による書評の前半が I-R モデルの適切なまとめになっていると思います．ちなみに I-R モデルもシェンカー理論を出発点にしているのですが，Beyond Schenkerismが絶版というのはちょっと寂しい．

3.3 音楽理論一般

まず音楽辞典ですが，定番というか定評のあるGrove Music Dictionaryは，今年 4 月に全 29 巻 (!) の第 2 版が出版されました．
しかしありがたいことに電子版も発売されました．一方，気軽に使える用語集としては，音楽全般についてはOnline Dictionary of Musical Terms，
リズムについてはインディアナ大学音楽学部のRhythm and Meter 用語集があります．
Univ. of Missouri Kansas City での音楽分析とリズム分析に関する講義シラバスのページTheory of Musical Analysis and Rhythmには必読教科書なども載っています．
あと，よろず便利サイトとしてインディアナ大学のWorldwide Internet Music Resourcesを，日本語で読めるサイトとして，片寄による音楽情報処理用語集を挙げておきます．

4. 関連雑誌

音楽と AI に関連する論文が掲載される主な学術雑誌は次の 3 つです．

  • Computer Music Journal (CMJ) は 1977 年創刊で歴史があり，コンピュータ音楽コミュニティを牽引する原動力の 1 つと言って良いでしょう．技術的な論文が掲載されてはいるものの，読者には音楽家も多いのでエッセイ風の平易で読みやすいレイアウトや文体になっていたり，製品紹介，コンサート批評なども掲載されています．この 3 冊の中では最も発行部数が多いそうです．

  • Journal of New Music Research(JNMR) は CMJ より技術志向が強く，一般の論文誌のイメージに近いと思います．JNMR のホームページに行くと，掲載論文に関連した楽音や音楽ファイルが置いてあり，実際に実験結果が試聴できるのが大きな特徴です．
  • Organised Sound (OS) は，CMJ や JNMR ではカバーし切れない分野のために 1996 年創刊されました．CMJ が一般読者をも対象としているのに対し，OS はコンピュータ音楽の技術者と音楽家を対象としています．JNMR が計算機，認知，音楽学に関連したトピックが多いのに対し，OS はそれらに加え，コンピュータ音楽に関する音楽美学，文化論，社会学などまでをカバーしています．

上記以外に，音楽と AI 研究に関して有用な論文が掲載される雑誌としてMusic Perception，Journal of Music Theory，Journal of the American Musicological Societyがあります．
音楽理論に関する学会Society for Music Theoryのサイトではオンラインジャーナルが発行されています．

5. 学会，会議，その他

音楽と AI に関する議論が行われている学会や研究会を紹介します．

国内では(社) 情報処理学会 音楽情報科学研究会 (SIGMUS) が最も活発ではないかと思います．
過去の発表題目一覧(1998 年 5 月まで分とそれ以降)は非常に便利です．
情報処理学会や電子情報通信学会の論文誌にも時折，音楽と AI に関連した論文が掲載されます．

音楽と AI の研究成果を実世界に応用する流れを反映した国際会議を幾つか挙げます．
International Symposium on Music Information Retrieval (ISMIR) (第 1 回目 2000 年，第 2 回目 2001 年)では音楽情報のコード化/標準化，音楽知識の表現法，それらの検索法などが議論されます．
International Conference on Web Delivering of Music (WEDELMUSIC)
(第 1 回目 2001 年)は Web で音楽配信を行うための標準アーキテクチャの提案を目指しており，IEEE CS TC on Computer Generated Musicが後援しています．

音楽音響信号処理に近い所では，International Conf. on Acoustics, Speech, and Signal Processing (ICASSP) (2001，2000…) やIJCAI Workshop on Computational Auditory Scene Analysis (CASA)(1995，1997，1999) などがあり，学習や統計的手法も交えた音楽音響信号の分析，理解が議論されています．

JSAI の皆様はすでに良くご承知のように，IJCAI，AAAI，ECAI などの国際会議では，Music and AI というワークショップが開かれることが多いです．

あと，コンピュータ音楽全般に関する老舗の国際学会としては，International Computer Music Conference (ICMC; 2002,2001,2000…) が良く知られていて，その主催者はInternational Computer Music Association (ICMA) です．
近年 ICMA は上に紹介した CMJ, JNMR, OS に優れた論文を推薦したり，購読費の割引などを提供して連携を深めています．

最後に紹介させて頂きますが，我々もロボカップに続けということで，情緒あるピアノ演奏を生成するシステムのコンクール「蓮根」の開催を計画しています．
情緒あるピアノ演奏の生成は，上で紹介した Widmer，Arcos，Desain and Honing，Bresin，片寄研，小谷研らが取り組んでいるテーマであり，AI 技術を駆使する場面が多々あるだろうと期待しています．

6. おわりに

以上，音楽と人工知能のサイトを紹介して来ましたが，音楽の持つ構造を計算機上に正確に表現することが重要だと考えて，重点をやや音楽理論寄りに置きました．
これからも，人工知能のサイドから「計算できる新しい音楽理論」を構築するくらいの意気込みで研究を進めて行くことができればとても楽しいと思っています．

謝辞

シェンカー理論に関するサイトは青柳龍也助教授 (津田塾大) に教えて頂きました．
音楽音響信号処理に関するサイトは後藤真孝氏 (産総研) に教えて頂きました．