Vol.24 No.6 (2009/11) 音楽情報処理

私のブックマーク

音楽情報処理

北原 鉄朗（JST CREST CrestMuseプロジェクト／関西学院大学理工学研究科）

1. はじめに

本誌の読者の皆さんは、「音楽情報処理」という研究分野を聞いたことがあるだろうか。近年、音楽のネット配信や大容量携帯音楽プレイヤーの普及を背景に、音楽情報処理は急速な発展を遂げた。そういうこともあって、音楽情報処理という言葉を聞いたことない人は、もしかしたら少数かもしれない。とはいえ、音楽情報処理が、情報処理あるいは人工知能の分野における必須科目とまではなっていないのが現状であろう。実際、「情報」を冠する学科で音楽情報処理の講義がない大学は日本中にある。本稿は、そういった、音楽情報処理が専門の教員がいない環境で、独力で音楽情報処理研究を始めようとしている学生、あるいは、担当学生が音楽情報処理研究がしたいと言い出して頭を抱えている教員に捧げるものである。

音楽情報処理と一言で言っても、実はかなり幅広い分野である。そのため、私ひとりで音楽情報処理全般をカバーするのは、ほとんど不可能である。幸い、このコーナーで音楽情報処理を取り上げるのは2回目で、2002年1月号で平田氏が様々な有用な情報を提供してくれている。そこで、すでに平田氏が紹介しているサイトは極力省略し、音楽情報処理全体をカバーすることにはこだわらず、私が実際に研究を通じて参照してきたサイトを中心に、有用なものを紹介していくこととする。

2. 音楽情報処理とは

音楽情報処理は、その名の通り、音楽を対象とした情報処理技術を扱う研究分野である。この分野の歴史は、実は驚くほど長い。ものの本を紐解けば、「1950年代に計算機による自動作曲作品『イリアック組曲』が発表され…」というくだりが見つかるであろう。1950年代といえば、情報処理という分野自体がまだ始まったばかりである（ちなみに、日本の情報処理学会ができたのが1960年）。つまり、音楽情報処理は、情報処理分野そのものと同じぐらいの歴史があることになる。

その頃の様子は、そもそも私が生まれる前なので、正確に語ることはできない。そこで、私が音楽情報処理研究を始めた2000年以降に限定して、本分野の大まかな様子を述べることとする。少なくとも日本では、後述する情報処理学会音楽情報科学研究会で発表されている研究が、音楽情報処理の現状といって差し支えない。この研究会には、学術系と呼ばれる人と制作系と呼ばれる人が共存している。そもそも学術研究を目的とする研究会に、学術系とそうでない人がいるというのは、自己矛盾しているように思われるかもしれない。しかし、制作系というのは、情報技術を自身の音楽作品制作に応用することを実践している人たちで、情報技術を生み出す側の学術系研究者と、情報技術の利用者である制作系音楽家が共存するのは、ある意味では当然とも言える。

学術系は、基本的には通常の工学研究を目的とする人たちで、研究内容から、信号処理系vs記号処理系、認識系vs生成系、インタラクティブ系vs非インタラクティブ系、などといったいくつかの軸で分類することができる。信号処理系というのは、WAVファイルなどの音響信号（音波形）を入力または出力とする研究テーマ、記号処理系は、音そのものではなくMIDIなどの記号化された音楽データを扱う研究テーマ、認識系とは、入力された音楽データを抽象度の高い表現形式に変換する研究テーマ、生成系とは、作曲や編曲など、抽象化されたデータやパラメータを基に具体的な音楽データを作りだす研究テーマである。たとえば、音楽音響信号から楽譜を出力することを目的とした自動採譜は、通常、信号処理系－認識系－非インタラクティブ系ということになる。私はこれまで、信号処理系－認識系－非インタラクティブ系に属する研究を中心に行ってきた。そのため、以下にあげるサイトには偏りがあることはご了承いただきたい。

3. 音楽情報処理のトレンドを知る

3.1 学会に参加する

どんな分野にも言えることだが、特定の研究分野のトレンドや最新動向を探るには、学会に参加するのが一番である。本会の全国大会でも音楽情報処理に関する研究発表がなされることがあるが、音楽情報処理系で、国内で最もアクティブなのが、

である。年5回の研究発表会を開催しており、1年に発表される論文数は、100に達しそうな勢いである（ただし、共催先に申し込まれた発表論文も含む）。このサイトでは、過去の音情研での発表タイトルをすべて見ることができる。音楽情報処理関連のサーベイをするときには、まずはここを調べるのをお勧めする。

日本音響学会の春季／秋季研究発表会では、「音楽音響」というセッションが設けられる。元々は、文字通り楽器の音響的特性などの研究がメインであったが、近年では音楽情報処理的研究も多く発表されている。特に音声情報処理の研究者は、音響学会に参加する機会が多くあると思うので、ぜひ一度音楽音響のセッションを覗いてみていただきたい。

近年の音楽のネット配信などの普及を背景に、急速に規模が拡大しているのが、The International
Society for Music Information Retrieval (ISMIR)である。ISMIRというのは昨年までは国際会議の名称であったが、今年から正式に「学会」という形態を取るようになった。国際会議としてのISMIRは、実は本稿が公開される直前、10月26〜30日に神戸で開催されたところである。毎年、9月前後に開催されているので、ぜひ参加を検討されたい。

International Computer Music Association (ICMA)は、いわゆるコンピュータ音楽を扱う国際会議International Computer Music Conference (ICMC)を主催している組織である。私はICMCには参加したことはないが、ISMIRに比べるといわゆる制作系に寄っているようである。学術系の研究発表にコンサートが併設されるのが、この会議の特徴である。

IEEE主催の音声・音響・信号処理に関する国際会議である。音楽情報処理の中でも信号処理系の研究者にとっては、ISMIRと並んで重要な国際会議である。音声情報処理の著名な研究者が多数参加するので、音声情報処理研究者にも自分の研究をアピールしたい人、音声情報処理関連のサーベイも一緒にしてしまいたい人には絶好の国際会議である。

The International Conference on New Interfaces for Musical Expression (NIME)は、その名の通り、音楽表現のための新たなインターフェースの研究開発を目的とする国際会議である。コンピュータ音楽の音楽家が自らの音楽表現のために開発した様々なハードウェアやヒューマンインターフェースを発表するケースが多いようで、どちらかというと制作系の方々が多い国際会議である。

Digital Audio Effects (DAFx) Conferenceでも、音楽情報処理に関する研究発表がされることがある。

International Conference on Music Perception and Cognition (ICMPC)は、その名の通り、音楽の認知や知覚をメインテーマとする国際会議だが、computational modelと題したセッションが組まれることがあり、そこで音楽情報処理に近い研究が発表されることがある。

3.2 過去の研究をサーベイする

学会に参加するのは今のトレンドを知るには最適だが、研究を進める上で、過去の研究をサーベイするのは必須作業である。

幸いなことに、3.1で述べた研究会／学会／国際会議のいくつかは、発表論文をWebでダウンロードすることができる。たとえば、音情研は年間数千円払って登録員になれば、第1回から最新の論文まですべてダウンロードできる。また、登録員にならなくても、発表されて2年以上経つ論文は、CiNiiから無料でダウンロードできる。ISMIR、NIMEについても、過去の発表論文はすべてWebでダウンロードできる。

論文誌に関しては、本会の論文誌にも、音楽情報処理関連の論文が時折掲載されるが、国内では、

  • 情報処理学会論文誌
  • 電子情報通信学会論文誌

に掲載されることが多い。国際誌については、平田氏がすでに紹介している

などの他、信号処理系の論文は、

に多数掲載されている。

近年の音楽情報処理研究の盛り上がりを受けて、これらの論文誌では不定期に音楽情報処理関連の特集号が企画されている。各特集号へのリンクは、

に整理しているので、サーベイ時の参考にされたい。

また、音楽情報検索系の博士論文の情報をまとめた

もサーベイの参考になる。

3.3 音楽情報処理研究がさかんな研究機関を知る

音楽情報処理に関する研究は、世界中で多数行われているので、網羅的に紹介するのはほとんど不可能に近いが、国内で最も大規模に行われているのが、

である。これは、科学技術振興機構（JST)戦略的創造研究推進事業における一領域「デジタルメディア作品の制作を支援する基盤技術」(http://www.media.jst.go.jp/)における1プロジェクトで、

による共同プロジェクトである。CrestMuseプロジェクトでは、1〜2年に1回のペースでシンポジウム／ワークショップを開催している。最近では、10月31日に京大会館でワークショップを行ったばかりである。また、CrestMuseのWebサイトには、研究成果をまとめた紹介ビデオが掲載されている。音楽情報処理の現状を気軽に知るには、持ってこいである。

CrestMuse以外にも、音楽情報処理／音楽情報検索系の研究機関横断的な研究プロジェクトが、世界中で立ち上がっている。

は、

を中心とする国際研究プロジェクトである。

は、情報検索技術の研究開発を目的とした、フランスとドイツによる巨大プロジェクトである。マルチメディアコンテンツに対する検索技術も研究対象となっており、音楽情報検索技術の研究開発に、

などが参画している。

その他に、ヨーロッパ系の

などがあり、すでに終了したプロジェクトも入れると、かなりの数になる。このあたりの情報は、多少古くなるが、

に詳しい。

4. 音楽情報処理研究を始める環境を整備する

音楽情報処理研究の最新トレンドがある程度分かったところで、早速、音楽情報処理研究を始めてみよう。どんなテーマをやるかにもよるが、音楽系のソフトウェアやハードウェアが必要になる場合がある。ここでは、音楽系のソフトウェアやハードウェアを用意するのに有用なサイトをいくつか紹介する。

4.1 音響機器を購入する

音楽情報処理研究を進める上で、MIDIキーボードやMIDI音源、マイクロフォン、ミキサー、スピーカーなどが必要になる場合がある。これらはもちろん、近所の楽器屋さんでも扱っているが、その筋の人たちは、

を使うことが多いようなので、知っておいて損はないだろう。

4.2 音楽ソフトウェアを用意する

PC上でいわゆる「打ち込み」で音楽を作りこんでいくソフトウェアのことを、「MIDIシーケンサ」と呼ぶ。ただ、最近はMIDIデータの処理だけでなくオーディオ処理もかなり充実しているので、デジタルオーディオワークステーション（DAW）という言い方もよくされるようになってきた。主なものとしては、

などがある。自動編曲機能付きのものとしては

楽譜作成ソフト（ノーテーションソフトという）としては

が有名である。

は、Webブラウザ上で楽譜を作成できるWebアプリで、私は使ったことはないが、なかなかよくできているとのことである。

信号処理系の研究をする場合には、波形編集ソフトが必要になる場合もある。有名なものとしては、次のようなものがある。

4.3 研究用ソフトウェアを用意する

研究用にどのようなソフトウェアを使うかは、研究テーマによっても異なるし、研究者自身の好みによっても異なるが、信号処理系の研究者は、

を使う場合が多いようである。アプリケーション開発には必ずしも向かないものの、行列計算の強力さ、科学計算向けの関数の豊富さから、信号処理やパターン認識の手法をかなり効率的に実装できるので、ちょっとしたアイディアを試すのにもかなり便利である。MATLABのほとんど唯一の問題点は、大変高価だということである。機能的に必ずしもMATLABに匹敵しているとは限らないが、フリーのMATLABクローンがいくつか開発されているので、まずはそれを試してみるのもいいだろう。たとえば、

などが有名である。

制作系やインタラクティブ系の人は、

を使う場合が多いようである。Max/MSPについて勉強したい方には、

が役立つ。

4.4 お金をかけずに音楽環境を用意する

最近は、Linux（特にUbuntu）での音楽環境もかなり充実しつつある。Linuxを用いて、できるだけフリーのソフトウェアのみを用いて音楽環境を用意するには、

が参考になる。ただし、この記事はあくまで一般の音楽ソフトユーザ向けなので、本会の会員のようなITの専門家には少し書き方がじれったいかもしれない。

Linux上でMIDIファイルを再生するのには、

が便利である。Timidityは、サウンドフォントと呼ばれる音波形データセットを入れ替えることで、音色を替えることができる。サウンドフォントは、

でダウンロードすることができる。ただし、無料でダウンロードできるサウンドフォントの中には著作権問題がグレーのものもあるので、注意が必要である。Linux上で使えるMIDIシーケンサとしては、

などがある。

4.5 研究に用いるコーパス／データベースを用意する

音楽情報処理の研究を進める上で、楽曲などを多数収録したコーパスやデータベースが必要になる場合がある。そのため、近年様々な音楽データベースが整備されつつある。主要なものとしては次のようなものがある。

研究用途というわけではないが、楽譜やMIDIファイルをダウンロードあるいは購入できるサイトとしては、

などがある。

5. 音楽情報処理研究を進めるための基礎知識を学ぶ

音楽情報処理研究は、音楽を研究対象とするため、計算機やプログラミングだけでなく、音楽や音に関する知識も必要になる場合が多い。ここで、音楽や音などに関する基礎知識を学ぶのに有用なサイトをいくつか紹介する。

5.1 音楽に関する知識を学ぶ

音楽のことを解説したページはWeb上に無数にある。たとえば、次のサイトは勉強になる。

これらは、作曲やレコーディングなどをする人のためのもので、研究をする人向けのものではないが、いずれも知っておいて損はない内容である。

内容の妥当性については慎重な吟味が必要だが、個人サイトにもなかなか面白いものがある。上のような体系的な説明を重視したサイトに比べて、作曲や演奏を実際にしている立場からの、より実践的な事柄が書かれている場合が多い。私が実際に読んだことのあるサイトとしては、次のようなものがある。

ただし、前述したとおり、音楽のことを解説したページは無数にある。できれば、検索サイトで検索して自分に合うのを自ら探すのがいいだろう。

5.2 音響に関する知識を学ぶ

音響学に関しても、やさしく解説したページが無数にあるので、自分に合うものを自ら探していただきたい。楽器音響について平易に解説したものとしては、次のようなものがある。

5.3 MIDIに関する知識を学ぶ

MIDIについても、やさしく解説したページが無数にある。たとえば、

などは役立つであろう。

5.4 信号処理に関する知識を学ぶ

自動採譜などの音楽音響信号処理の研究をしようとしている人にとって、フーリエ変換などの信号処理に関する知識は必須である。
信号処理に関しては体系的な知識が必要であること、良書が多数出版されていることから、Webよりも本で学ぶことをお勧めする。

音響信号処理の基礎の基礎をMATLABを使って学ぶためのテキストとして、手前味噌で恐縮だが、

がある。ただし、数か所誤植がそのままになっているので注意されたい。その他に、

も大変勉強になる。

6. 音楽情報処理研究を効率的に進める

音楽情報処理の研究は、テーマにもよるが、プログラムを書く作業の占める割合が大きいであろう。たとえば、自動採譜の研究をするのであれば、入力されたWAVファイルを読み込んで、フーリエ変換などの周波数解析をし、そこからピッチやリズムを抽出し、楽譜の形に整形する、といった様々な処理を行うプログラムを書いていくことになる。ただ、最近は、様々な研究者が自身のプログラムをフリーで公開していて、それをうまく使えば、自分であまりプログラムを書かなくても、いろいろなことができるようになってきている。ここでは、そういったプログラムを紹介する。

6.1 CrestMuseXML Toolkit

私が中心になって開発しているオープンソースライブラリである。MusicXMLなどのXML系音楽データの読み書き、データフロー型の処理を記述するためのAPI、ベイジアンネットワークを使った推論機構などをサポートしている。ベイジアンネットワークについては、外部ライブラリとして後述のWekaを利用している。Javaで書かれており、BSDライセンスに基づいて配布している。

6.2 MATLAB用特徴抽出ライブラリ

MATLAB用の音響特徴抽出ライブラリとして、

などがある。いずれも著名な研究者が自身の研究のために作成したもので、MATLAB上で研究を進めている人にとっては、大変重宝するであろう。

6.3 それ以外の音響特徴抽出ツール

Javaで開発された音響特徴抽出ツールとして、

などがある。特に、jAudioはGUI上で対象のWAVファイルと抽出したい特徴量の名称を指定すれば、簡単に特徴抽出を試すことができる。後述のWeka用のファイル形式（ARFF）で出力することもできるので、Wekaと組み合わせて音楽のパターン認識を気軽に試すことができる。MPEG-7 Audio Encoderは、その名の通り、指定されたWAVファイルの音響特徴をMPEG-7 Audioの形式で出力するものである。コマンドラインから実行する必要があるが、プログラムを書かずに試すことができる。M2Kは、D2K (Data-to-Knowledge)というソフトウェアの上で動かすもので、私は使用したことはないが、有名なツールである。

C/C++で書かれた音響特徴抽出ツールとしては、

などがある。

6.4 標準MIDIファイルの処理

MIDI系の研究をする上では、標準MIDIファイルの読み書きは必須である。標準MIDIファイルの読み書きは、前述のCrestMuseXML Toolkitでも対応している他、

が役に立つ。

6.5 パターン認識用のツール

音楽専用というわけではないが、パターン認識を気軽に試してみたい方は、

を試してみることをお勧めする。隠れマルコフモデルを使用したい場合は、

を使うのがよい。これは、元々音声認識用に開発されたものだが、音楽情報処理にももちろん使える。HTKに付属しているドキュメントHTK Bookは、HTKの使い方だけでなく、音声認識技術の基礎知識を付けるのに重宝するので、読むのは大変だが、一度読んでみることをお勧めする。日本語で気軽に読めるものとしては、

  • 日本語ディクテーション基本ソフトウェア演習書
    （鹿野他：IT Text 音声認識システム付属CD-ROMに収録）
  • 荒木他：フリーソフトでつくる音声認識システム、森北出版

などがある。HTKの使い方については、様々な研究者が個人的に記したサイトがいろいろとあり、

などが参考になる。

7. 音楽情報処理の研究成果を発表する

音楽情報処理研究の現状を把握し、研究環境を整備し、基礎知識を身に付け、各種ツールを使って効率的に研究を進めて、成果が出たら、ぜひ学会などで発表しよう。発表先は、3.1節で取り上げた研究会／学会／国際会議がいいだろう。特に、音情研は、毎年夏にデモセッションを行っている。デモセッションでは、すでにきちんとした結果が出ている研究はもちろん、発展途上の研究だったり、思いつきだけで使ったシステムなども歓迎している。学生の皆さんは自己アピールの場に、教員の方々は学生への尻たたきにぜひ活用していただきたい。

通常の学会発表やデモ発表の他に、コンテスト形式で技術を競い合う試みも行われている。音楽情報検索系であれば、

演奏生成（演奏の表情付け）であれば、

がある。

8. おわりに

本稿では、実際に私が参考にしたり利用したことのあるサイトを中心に、音楽情報処理研究を始める上で有用なサイトや情報を紹介してきた。音楽情報処理というのは極めて広い分野を含むので、必ずしも音楽情報処理全体を網羅した情報にはなっていない。本稿や平田氏による「私のブックマーク：音楽と人工知能」（2002年1月）以外にも、

  • 後藤 真孝, 緒方 淳: “音楽・音声の音響信号の認識・理解研究の動向”, コンピュータソフトウェア(日本ソフトウェア科学会論文誌), Vol.26, No.1, pp.4-24, February 2009.
  • 片寄 晴弘, 後藤 真孝: “初学者のための音楽情報処理ブックマーク”, 情報処理, Vol.50, No.8, pp.771-772, August 771.

にも有用な情報が詰まっているので、ぜひ参考にしていただきたい。

謝辞

一部のWebサイトは、橋田光代氏に教えていただきました。同氏に感謝致します。