私のブックマーク
クラウドソーシングとヒューマンコンピュテーション（Crowdsourcing and Human Computation）
馬場雪乃（国立情報学研究所／JST, ERATO, 河原林巨大グラフプロジェクト）
はじめに
不特定多数の人に仕事を発注する仕組み「クラウドソーシング」の登場は、大量の人的資源の獲得を容易にした。
コンピュータ科学の諸分野では、クラウドソーシングをより成熟した基盤にするために、品質管理やメカニズムデザイン、プラットフォーム設計など多様な観点で研究が進められている。また、クラウドソーシングの登場を受けて人工知能分野では、人間と計算機の協調問題解決を目指す「ヒューマンコンピュテーション」に関する研究が促進された。
本稿では、以下5つの観点で情報源を紹介する：(1) クラウドソーシング・ヒューマンコンピュテーションと、関連する研究の概略、(2) クラウドソーシング・ヒューマンコンピュテーションの最新研究動向、(3) クラウドソーシング・ヒューマンコンピュテーションの活用事例、(4) 研究でのクラウドソーシング活用、(5) クラウドソーシング・ヒューマンコンピュテーションの研究資源
クラウドソーシング・ヒューマンコンピュテーションと、関連する研究の概略
- The Rise of Crowdsourcing
- 「クラウドソーシング」という言葉が最初に登場した米国Wired誌の記事。
- クラウドソーシング―みんなのパワーが世界を動かす
- 上記記事の執筆者Jeff Howeによる、クラウドソーシングの概念と事例紹介の書籍。
- Enrique Estellés-Arolas and Fernando González-Ladrón-de-Guevara: Towards an integrated crowdsourcing definition, Journal of Information Science, Vol. 38, No. 2 (2012)
- クラウドソーシングの定義を調査した論文。
- Aniket Kittur, Jeffrey V. Nickerson, Michael Bernstein, Elizabeth Gerber, Aaron Shaw, John Zimmerman, Matt Lease, and John Horton: The future of crowd works, in Proceedings of the 2013 Conference on Computer Supported Cooperative Work (CSCW) (2013)
- クラウドソーシング研究のサーベイ論文。
- Luis von Ahn: Human Computation, Ph.D. Thesis, Carnegie Mellon University (2005)
- ヒューマンコンピュテーションの生みの親であるLuis von Ahnの博士論文。
- Edith Law and Luis von Ahn: Human Computation, Morgan & Claypool Publishers (2011)
- ヒューマンコンピュテーションの研究動向をまとめた書籍。
- Luis von Ahn and Edith Law: Human Computation: Core Research Questions and State of the Art (2011)
- 上記書籍と同様の内容のチュートリアル資料。
- Pietro Michelucci: Handbook of human computation, Springer (2013)
- ヒューマンコンピュテーションに関する研究トピック紹介の書籍。
- Crowdsourcing & Human Computation
- ペンシルベニア大学のChris Callison-Burchによる、クラウドソーシングとヒューマンコンピュテーションの講義資料。
人工知能 Vol. 29 No. 1 (2014年1月)では「ヒューマンコンピュテーションとクラウドソーシング」特集が組まれ、8篇の解説記事が掲載されている。
- 鹿島 久嗣, 馬場 雪乃: ヒューマンコンピュテーション概説
- 森嶋 厚行: ヒューマンコンピュテーションのためのプラットフォームとソフトウェア開発
- 櫻井 祐子, 松原 繁夫: ヒューマンコンピュテーションのためのメカニズムデザイン
- 小山 聡: ヒューマンコンピュテーションの品質管理
- 水山 元: 予測市場とその周辺
- 高木 啓伸, 井床 利生, 斉藤 新, 小林 正朋: クラウドアクセシビリティ ─クラウドソーシングによる障害者支援─
- 後藤 真孝, 吉井 和佳, 中野 倫靖, 緒方 淳: クラウドソーシングに基づくメディア処理サービス ─能動的音楽鑑賞サービスSongle と音声情報検索サービスPodCastle ─
- 芦川 将之, 池田 朋男: クラウドソーシングを用いたアノテーション
人工知能学会誌 Vol. 27 No. 4 (2012年7月)には以下の解説記事が掲載されている。
- 鹿島 久嗣, 梶野 洸: クラウドソーシングと機械学習
クラウドソーシング・ヒューマンコンピュテーションの最新研究動向
ブログ
- Follow the Crowd
- クラウドソーシングの最新研究紹介ブログ。複数の研究者により運営されている。
- A Computer Scientist in a Business School
- クラウドソーシングの品質管理やプラットフォーム調査に関して多数の論文を発表している、ニューヨーク大学のPanos Ipeirotisによるブログ。
国際会議
クラウドソーシングとヒューマンコンピュテーションに関する論文が発表される主要国際会議は以下である。
- HCOMP
- ヒューマンコンピュテーションとクラウドソーシングに関する国際会議。ワークショップとして4回開催された後、2013年よりAAAI主催の国際会議となった。
- AAAI, IJCAI
- 人工知能に関する国際会議。ヒューマンコンピュテーションや、クラウドソーシングの品質管理についての論文が例年採択されている。
- CHI
- ヒューマンコンピュータインタラクションに関する国際会議。クラウドソーシングを利用したアプリケーションが多数発表されている。
- UIST
- ユーザインターフェースに関する国際会議。CHIと同様に、VizWizやSoylentなど、クラウドソーシングを利用したアプリケーションが多数発表されている。
- CSCW
- Computer-Supported Cooperative WorkとSocial Computingに関する国際会議。”Being a Turker“など、クラウドソーシングの調査論文が多数発表されている。
- SIGMOD
- データベースに関する国際会議。”CrowdDB: answering queries with crowdsourcing“など、ヒューマンコンピュテーションによるデータベース操作を扱った論文が多数発表されている。
- WWW
- ウェブに関する国際会議。例年、クラウドソーシングのセッションが設けられ、品質管理や報酬設定に関する論文が発表されている。
ワークショップ
様々な国際会議で、クラウドソーシング・ヒューマンコンピュテーションを題材にしたワークショップが開催されている。そのうち、2回以上開催されているものを紹介する。
- Workshop on Crowdsourcing for Multimedia (CrowdMM)
- マルティメディア研究におけるクラウドソーシング・ヒューマンコンピュテーション活用についてのワークショップ。ACM Multimediaの併設で、2012年より毎年開催されている。
- Workshop on Multimodal Crowd Sensing (CrowdSens)
- クラウドソーシングを利用して実世界の情報を獲得する「クラウドセンシング」についてのワークショップ。2012年にCIKM、2014年にKDDの併設で開催されている。
他に、機械学習分野の国際会議ICMLとNIPSでは、近年はクラウドソーシング・ヒューマンコンピュテーションに関連したワークショップが毎年併設されている。特に、最近3年間に開催されたものを紹介する。
- ICML’12 Workshop on Machine Learning in Human Computation & Crowdsourcing
- ICML’13 Workshop on Machine Learning Meets Crowdsourcing
- ICML’14 Workshop on Crowdsourcing and Human Computing
- NIPS’12 Workshop on Human Computation for Science and Computational Sustainability
- NIPS’13 Workshop on Crowdsourcing: Theory, Algorithms and Applications
- NIPS’14 Workshop on Crowdsourcing and Machine Learning
国内では人工知能学会全国大会において、オーガナイズドセッションが2013年と2014年に開催されている。
その他
- Crowdsourcing News, Events, and Resources
- テキサス大学オースティン校のMatt Leaseが管理する、クラウドソーシング研究関連情報のまとめ。
- クラウドソーシング研究会
- 国内クラウドソーシング研究者のコミュニティ。
クラウドソーシング・ヒューマンコンピュテーションの活用事例
クラウドソーシング・ヒューマンコンピュテーションを活用したプロジェクト等を紹介する。
- reCAPTCHA
- 「人間かボットか」を判定する仕組みCAPTCHAを、人手による書籍電子化に活用するプロジェクト。
- Foldit
- タンパク質の構造予測問題をゲームにすることで人間に解決させる取り組み。
- Jim Grayの捜索
- 海上で行方不明になった研究者Jim Grayの捜索プロジェクト。「海域の衛星画像からJim Grayのクルーザーを見つけるタスク」がAmazon Mechanical Turkで発注された。
- DARPA Network Challenge
- 米国内の10地点に設置された赤い風船を見つけ出すコンペティション。ソーシャルネットワーク活用やチームビルディングの手法を試すことを目的に開催された。
- Fast Adaptable Next-Generation Ground Vehicle (FANG) Mobility/Drivetrain Challenge
- DARPA主催の、クラウドソーシングを利用した軍用車両設計のコンペティション。
- Netflix Prize
- オンラインDVDレンタルサービスを提供するNetflixが、推薦アルゴリズム改善のために開催したコンペティション。
- Duolingo
- 言語教育プラットフォーム。一定のスキルに到達した学習者に対して、翻訳作業を発注する。
研究でのクラウドソーシング活用
汎用的なプラットフォーム（日本国外）
- Amazon Mechanical Turk
- 2005年にサービス開始された、米国Amazon社運営のクラウドソーシングの老舗プラットフォーム。画像分類や音声の書き起こし等の小規模な仕事に特化している。発注者になるには、請求先として米国内住所が設定されているクレジットカード等が必要である（2014年11月現在）。
- CrowdFlower
- Amazon Mechanical Turkと同種のプラットフォーム。発注時には、PayPal経由で支払いが可能である（2014年11月現在）。
- oDesk
- デザイン、ソフトウェア開発、文書執筆等の比較的規模が大きい仕事を対象にしたプラットフォーム。
汎用的なプラットフォーム（日本国内）
- ランサーズ
- 2008年にサービス開始された、日本における老舗クラウドソーシングプラットフォーム。「タスク方式」と呼ばれる小規模な仕事と、「プロジェクト方式」「コンペ方式」と呼ばれる比較的規模が大きい仕事、どちらも発注可能である。
- クラウドワークス
- ランサーズと同様に、様々な種類の仕事に対応したプラットフォーム。
- Yahoo!クラウドソーシング
- 小規模な仕事に特化したプラットフォーム。
- Crowd4U
- 公共・学術利用を目的としたクラウドソーシングプラットフォーム。ボランティアに対して仕事を発注することができる。
特定の目的を持ったプラットフォーム
デザイン、ソフトウェア開発、翻訳など、特定の種類の仕事に特化したクラウドソーシングプラットフォームも存在する。
- 99designs
- ロゴやウェブページ、名刺等のデザインに特化したプラットフォーム。
- TopCoder
- プログラミングコンテストの開催で有名なTopCoderは、ソフトウェア開発のクラウドソーシングプラットフォームも提供している。
- uTest
- ソフトウェアのテストに特化したプラットフォーム。
- Conyac
- 文章翻訳に特化したプラットフォーム。
データ解析に特化したクラウドソーシングプラットフォームも登場している。
- Kaggle
- 予測モデル構築のプラットフォーム。参加者を競わせ、優れたモデルの獲得を目指す。
- CrowdSolving, Deep Analytics
- Kaggleと同様のプラットフォームの国内版。
- ビッグデータ大学
- データ解析者の教育を目的とするプラットフォーム。
クラウドソーシング利用のノウハウ・ツール
- Guidelines for Academic Requesters
- 複数の研究者によって策定された、学術目的でのクラウドソーシング利用のガイドライン。
- Best Practices Guide for Requesters
- Amazon Mechanical Turkの発注者を対象にした文書だが、その他のプラットフォームにも適用可能なコツが紹介されている。
- TurKit
- Amazon Mechanical TurkのAPIをJava, JavaScriptで呼び出すためのライブラリ。
クラウドソーシング・ヒューマンコンピュテーションの研究資源
主に、複数ワーカの回答を統合することで品質を保証する「回答統合手法」の研究のために、データセットや共通タスクが整備されている。
ツール
- SQUARE
- 複数の回答統合手法が実装されており、ベースラインとして用いることができる。
データセット
- 回答統合手法用のデータセット
- 前述のSQUAREで用いられているデータセットの一覧。
- Amazon Mechanical Turkで収集された言語や音声のデータセット
- NAACL’10併設のワークショップCreating Speech and Language Data With Amazon’s Mechanical Turkにおいて収集されたデータセット。
共通タスク
- CrowdScale
- HCOMP’13で実施された、回答統合に関する共通タスク。
- MediaEval Crowdsourcing Task
- クラウドソーシングで獲得した、マルチメディア関連コンテンツに対するアノテーションの統合を目指す共通タスク。2013年は、Flickrに投稿された写真へのアノテーション、2014年はコメントへのアノテーションが対象とされた。
- TREC Crowdsourcing Track
- 情報検索分野で実施された共通タスク。文書とトピックの適合度のアノテーションをクラウドソーシングで精度良く収集する方法を競う。
おわりに
本稿では、クラウドソーシング・ヒューマンコンピュテーションに関する情報源を5つの観点に沿って紹介した。本研究分野拡大の一助となれば幸いである。
謝辞
本稿の執筆にあたり、クラウドソーシング研究会の皆様からご助言を頂きました。心より感謝申し上げます。