私のブックマーク
料理情報処理（Food Information Processing）
原島純（クックパッド株式会社）
はじめに
最近、レシピや料理画像等（以下、料理情報）を対象とした研究（以下、料理情報処理の研究）が散見されるようになりました。筆者が修士や博士の学生であった頃（2010 年頃）は、それほど多くなかったように思います。
研究が増加した理由の一つは、料理情報をコンテンツとするサービスが普及したことでしょう。例えば、クックパッドや楽天レシピ等のレシピサービスはここ 10 年で確実に普及しました。料理情報が身近になったため、これらを研究対象にしようと思う機会も自然と増加したのではないでしょうか。
同様に、研究用のデータセットが増加したことも、料理情報処理の研究が増加した理由の一つでしょう。上述のクックパッドや楽天レシピも研究用のデータセットを公開しています。また、レシピのデータセットだけでなく、料理画像のデータセットも 2010 年頃から増加しています。
このように、料理情報処理は今まさに発展している分野です。本エントリでは、特にこれから料理情報処理を研究する方を対象として、以下について紹介します。
データセット
まず、研究に利用可能なデータセットを紹介します。
楽天データ
その名の通り、楽天のデータセットです。楽天市場等のデータとともに、楽天レシピのデータが収録されています。2010 年に公開され、このエントリの執筆時点（2017 年 10 月）で、約 80 万品のレシピのデータが利用可能です。国立情報学研究所（NII）と言語資源・音声資源サイト（ALAGIN）から取得できます。
クックパッドデータ
こちらはクックパッドのデータセットです。2015 年に公開されました。2014 年 9 月までに投稿された約 172 万品のレシピのデータが収録されており、レシピのデータセットでは世界最大です。こちらも NII から取得でき、2017 年 10 月現在、120 以上の研究室に利用されています。
UEC FOOD-100 および UEC FOOD-256
こちらはレシピのデータセットではなく、料理画像のデータセットです。UEC FOOD-100 は 100 種類の料理について合計約 9,000 枚の画像を、UEC FOOD-256 は 256 種類の料理について合計約 31,000 枚の画像を収録しています。後述する電気通信大学柳井研究室が公開しているデータセットです。
Food-101
Food-101 は、2017 年 10 月現在、世界でもっともポピュラーな料理画像のデータセットです。このデータセットには、101 種類の料理について 1000 枚ずつの画像（合計 101,000 枚の画像）が収録されています。2014 年に公開され、多くの研究で利用されています。
料理オントロジー
こちらは調理用語のオントロジーです。材料や調味料、調理器具、調理動作に関連する用語が収録されています。広島市立大学の言語音声メディア工学研究室で構築されたものです。表記揺れや同義語も考慮されており、非常に使い勝手が良いオントロジーです。
研究テーマ
次に、料理情報処理で人気がある研究テーマを紹介します。もちろん、ここで紹介するテーマ以外にも沢山のテーマがあります。
レシピ検索
これは想像しやすいテーマかもしれません。クエリに適合するレシピを検索するタスクです。2014 年には NTCIR-11 において Cooking Recipe Search Task も開催されています。最近では、クエリが料理画像という新しいチャレンジもあります。
メニュー認識
料理画像中のメニューを認識するものです。現在、料理情報処理でもっとも人気があるテーマかもしれません。これは、Food-101 等のデータセットが充実したのと、Deep Learning 等の技術が発展したのが関係してそうです。
カロリー推定
かなりチャレンジングですが、カロリー推定も人気があるテーマです。これは、料理画像からカロリーを推定するものです。画像中のメニューだけでなく、その大きさや内部の食材等も認識する必要があります。
関連研究室
以下は、料理情報を研究対象とする主な研究室です。
京都大学森研究室
森研究室は自然言語処理の研究室で、2011 年頃からレシピを研究対象としています。レシピの調理手順を有向グラフで表現した「フローグラフコーパス」と、それらに単語境界と品詞、読み等をアノテートした「レシピ用語コーパス」等のデータを公開しています。単語分割器 KyTea の開発元としても有名です。
京都大学美濃研究室
美濃研究室は画像処理および映像処理の研究室で、2005 年頃からスマートキッチンを研究しています。研究室内にセンサーを配備したスマートキッチンがあり、調理者の行動をカメラで認識して次の行動を指示するシステム等を開発しています。森研究室と同じ大学院にあり、同研究室と共同で構築したマルチモーダルのデータセットも公開しています。
東京大学相澤・山崎研究室
相澤・山崎研究室も画像処理および映像処理の研究室です。料理だけでなく、漫画やファッション等も研究対象としています。本エントリで特筆すべきは FoodLog でしょう。これは、スマートフォンで食事の画像を撮影するだけで、摂取カロリー等を管理できるサービスです。相澤・山崎研究室は同サービスのログを利用して、唯一無二の論文を数多く発表しています。
電気通信大学柳井研究室
柳井研究室ではモバイル系の研究も盛んで、スマートフォンでのリアルタイム料理認識の研究が代表的です。また、料理画像からカロリーを推定する研究にもチャレンジしています。「データセット」の項目でも紹介したように、柳井研究室は UEC FOOD-100 および UEC FOOD-256 の公開元でもあります。
先行研究
ここでは、2017 年 10 月時点でよく引用されている研究や、これから引用されそうな研究をいくつか紹介します。
Food-101 – Mining Discriminative Components with Random Forests
2014 年の ECCV の論文です。この論文は、「主要なデータセット」の項目で紹介した Food-101 の詳細を記述したものです。Food-101 が多くの研究で利用されていることもあって、2017 年 10 月現在、料理情報処理の論文でもっとも引用されている論文かもしれません。
Im2Calories: towards an automated mobile vision food diary
2015 年の ICCV の論文です。モバイルで撮影した料理の写真からその料理のカロリーを推定するシステムについての研究です。当時の最新の技術で、システムの各構成要素がどれぐらいの精度で達成できるかが記述されており、非常に参考になります。
A Large-scale Recipe and Meal Data Collection as Infrastructure for Food Research
Cookpad Image Dataset: An Image Collection as Infrastructure for Food Research
手前味噌になりますが、著者が発表した 2016 年の LREC の論文と 2017 年の SIGIR の論文です。これらの論文は、「主要なデータセット」の項目で紹介したクックパッドデータの詳細を記述したものです。
Learning Cross-modal Embeddings for Cooking Recipes and Food Images
こちらは 2017 年の CVPR の論文です。LSTM と CNN でレシピと料理画像を同じ空間に Embed することで、料理画像によるレシピ検索（あるいは、その逆）を実現しています。自然言語処理と画像認識、情報検索が融合した研究で、非常に興味深いです。
ワークショップ・研究会
残念ながら、料理情報に特化した国際会議はないようです（ご存知の方は是非ご教示ください）。料理情報処理の論文は、自然言語処理系（e.g. ACL）や画像認識系（e.g. CVPR）、情報検索系（e.g. SIGIR）に分散して投稿されています。
一方、料理情報に特化したワークショップや研究会はいくつかあります。本エントリの最後に、これらを紹介します。
MADiMa
正式名称は International Workshop on Multimedia Assisted Dietary Management です。最近発足したワークショップで、2017 年で 3 回目です。画像認識を中心とした興味深い論文が発表されています。
CEA
正式名称は International Workshop on Multimedia for Cooking and Eating Activities です。後述する食メディア研究会が主催するワークショップです。2017 年は 9 回目で、IJCAI の併設ワークショップでした。
食メディア研究会
電子情報通信学会の研究会です。年に 4 回のペースで開催されています。前身の料理メディア研究会が 2006 年に発足したそうなので、2017 年の時点で 10 年以上の歴史がある研究会です。国内の論文投稿先としておすすめです。
おわりに
レシピや料理画像は日常生活に直結しており、とっつきやすい研究題材です。ここ数年でデータセットも充実してきました。一方で、レシピ情報処理の研究者はそれほど多くなく、この領域はまだブルー・オーシャンです。本エントリが料理情報処理に興味を持つきっかけになれば幸いです。
謝辞
本稿執筆にあたってコメントをいただきました京都大学美濃研究室の橋本敦史先生に深く感謝いたします。