私のブックマーク
Linked Open Data
加藤 文彦(情報・システム研究機構)
はじめに
Linked Open Data (リンクト・オープン・データ,LOD) は,再利用しやすいデータをWeb上で公開・共有するための技術や方法論の総称です.主にセマンティックWebで培われてきた技術等が適用されているため,研究コミュニティとしてはセマンティックWebの一分野という扱いになっています.
Linked Open Dataの概要を知りたい場合には,以下のビデオ資料がお薦めです.
- Linked Open Data – What is it?
- Linked Open Dataとは何かを芸術文化データを例にわかりやすく説明しています.
- ティム・バーナーズ=リーが示す次のウェブ
- World Web Wideの発明者であるTim Berners-Lee卿のTED2009での講演です.
- オープンデータとマッシュアップで変わる世界
- Tim Berners-Lee卿のTED2010での講演です.
Open Data
Linked Open Dataは大きく分けてOpen DataとLinked Dataという二つの動向が混ざり合っているため,双方のことを知っておく必要があります.
再利用しやすいデータを考える上で,重要な要素の一つはライセンスです.Open Data はデータを配布する際に一定のライセンスを適用することによって,データの消費者が自由にアクセスや再利用,再配布をすることを可能とします.Open Dataに関連するリンクは以下の通りです.
- The Open Definition
- データやコンテンツにとってのOpenとは何かを定義している文書 (日本語訳).定義に適合するライセンスのリストも公開しています.
- Creative Commons
- Open Dataのライセンスとしてよく使用されているCreative Commonsライセンスを提供しています.
- Open Data Commons
- Open Dataのライセンスとしてよく使用されていています.
- Open Data Index
- Open Dataの一指標
- the Datahub
- 世界中のデータカタログを作ることを目的としたサイトです.
- CKAN
- データポータルサイトを作るためのソフトウェアです.
- Socrata
- データポータルソフトウェアの一つです.
- Open Data Directory
- Open Dataの作成や公開に関わっている組織を登録できるサイトです.
- CKAN日本語
- 日本国内のデータカタログを作ることを目的としたコミュニティプロジェクトです.
行政・公共データ
Open Dataで最も大きな割合を占めているのが行政や公共のデータになります.現在世界中の政府や地方自治体等がデータ公開のためのポータルサイトを立ち上げるようになっています.
- Data.gov
- アメリカ政府のデータポータル
- Data.gov.uk
- イギリス政府のデータポータル
- European Union Open Data Portal
- ヨーロッパ連合のデータポータル
- Europe’s Public Data
- ヨーロッパの公共データの横断データポータル
- Open DATA METI
- 経済産業省のデータポータル
- データシティ鯖江
- 日本ではじめてOpen Dataという形でデータ公開し始めた福井県鯖江市のサイト
- オープンデータ流通推進コンソーシアム
- 総務省が行なっているオープンデータを推進するためのコンソーシアム
Linked Data
Linked Dataは構造化データを適切に公開・共有するためのWeb技術です.Linked DataはWorld Wide Webのアーキテクチャを踏襲して設計されていますので,Webアーキテクチャ一般に関するリンクも含みました.
- Information Management: A Proposal
- Tim Berners-Lee卿によるWorld Wide Webの提案文書.全てはここから.Linked Dataの基礎概念もここにすでに入っています.
- Architecture of World Wide Web, Volume One
- World Wide Webのアーキテクチャを一通り勉強するための資料.W3C勧告.
- Web Architecture from 50,000 feet
- Tim Berners-Lee卿によるWebアーキテクチャの俯瞰
- Architectural Styles and the Design of Network-based Software Architectures
- Roy T. Fielding氏によるRESTの論文です.RESTは代表的なWebアーキテクチャスタイルの一つです.
- Design Issues: Linked Data
- Linked Dataの原則等が記述されている文書です.
- W3C SWEO Community Project: LinkingOpenData
- LODに関するまとめサイト.他にもタイトルがLinkingとなっているのがありますが,それは歴史的経緯です.
- The Linking Open Data Cloud diagram (LOD Cloud digram)
- 有名なLODの図.データセット数が多くなりすぎたとの理由で2011年9月を最後に更新が止まっています.
- Linked Open Vocabularies (LOV)
- LOD Cloudで使われている語彙の統計とその可視化
- 5 star Open Data
- Linked Open Dataの段階的な進め方の指標
- Linked Data: Evolving the Web into a Global Data Space
- Linked Dataを体系だって学ぶことのできるテキスト.日本語訳は近代科学社より出版されています.
Linked (Open) Data サイト
- Linking Open Data Cloud – the Datahub
- Datahubでの,LOD Cloudを作るためのまとめグループになります.ここから手始めに探すと良いです.
- DBpedia
- Wikipedia英語版から構造化データを抽出してLODにしたサイト
- DBpedia Japanese
- Wikipedia日本語版から構造化データを抽出してLODにしたサイト.他に10ヶ国語以上のチャプターがコミュニティによって運営されています.
- 日本語Wikipediaオントロジー
- Wikipedia日本語版等から汎用的なオントロジーを構築してLODとして公開しています.同様に英語版にはYAGOがありますがこれはファイルだけの提供になっています.
- LinkedGeoData
- OpenStreetMapのノードと道データを主にLODにしたサイトです.
- GeoNames
- 世界の地名のデータのLODです.
- Linked data – Data.gov.uk
- 教育,法令,地理等様々なLODを提供しています.
- British Museum Semantic Web Collection Online
- 大英博物館のコレクション
- Linked Open Data – data.europeana.eu
- ヨーロッパ中の文化芸術施設のデータを集めているEuropeanaプロジェクトのLOD試験板
- Web NDL Authorities
- 国立国会図書館典拠データ検索・提供サービス
- Linked Life Data
- 生命科学関連の主要なLODをまとめたサイト
- The New Work Times Linked Open Data
- New York Timesがニュースで用いてる語彙のLinked Open Data
SPARQL
LODを実際に利用する方法としてよく使われているのがSPARQLという問い合わせ言語です.SPARQLは標準化されたデータアクセス用Web APIと捉えることができます.問い合わせを受け付ける場所をSPARQLエンドポイントと呼んでおり,LODサイトの多くがSPARQLエンドポイントも提供しています.
- api/sparql – the Datahub
- Datahubにてapi/sparqlで登録されているSPARQLエンドポイントのリスト.
- SPARQL Endpoints Status
- 上記のapi/sparqlで登録されているSPARQLエンドポイントの監視サイト
- SPARQL 1.1 Overview
- W3C Recommendation, 21 Mar. 2013,全部で11個あるSPARQL 1.1のW3C文書のまとめになります.
- SPARQL CURRENT STATUS
- W3CによるSPARQLの現状についてのまとめです.
- Learning SPARQL
- O’Reilly Media社から出版されているSPARQL解説本のサイトです.オンラインに無料でSPARQLのサンプルコードが豊富にありますので,それを見るだけでも参考になります.
- the SPARQL FAQ
- SPARQLを策定しているW3C RDF Data Access WG (DAWG) のChairであるLee Feigenbaum によるFAQです.
- SPARQL by Example
- 同じくLee Feigenbaum によるSPARQLのチュートリアルです.
- RDFクエリ言語 SPARQL
- 神崎さんによるSPARQLがW3C勧告になるまでの道のりのお話です.
- YASGUI
- WebベースのSPARQLクライアント.どのSPARQLエンドポイントにも問い合わせることができるので試すのに便利です.
- Hypertext Transfer Protocol — HTTP/1.1
- IETF RFC 2616, Jun. 1999
- Uniform Resource Identifier (URI): Generic Syntax
- IETF RFC 3986, Jan. 2005
- Internationalized Resource Identifiers (IRIs)
- IETF RFC 3987, Jan. 2005
- Cool URIs for Semantic Web
- W3C Interest Group Note, 03 Dec. 2008
- RDF Primer
- W3C Recommendation, 10 Feb. 2004, Resource Description Framework (RDF)の入門書です.RDFの文書はこれを含めて6つあります.
- Turtle: Terse RDF Triple Language
- W3C Candidate Recommendation, 19 Feb. 2013,SPARQLと互換性のある文法で書けるRDFシリアライゼーションです.
- JSON-LD 1.0
- W3C Last Call Working Draft, 11 Apr. 2013,JSON形式でのRDFシリアライゼーションの一つです.
- Linked Data Platform
- W3C Working Draft, 7 Mar. 2013
- DCMI Metadata Terms
- DCMI Recommendation, 14 Jun. 2012, よく使われる語彙の一つ.
- SKOS Simple Knowledge Organization System Reference
- W3C Recommendation, 18 Aug. 2009, よく使われる語彙の一つ.
- Schema.RDF.org
- 主な検索エンジン会社が利用する語彙であるSchema.orgをLinked Dataで扱うためのサイト
- Redland
- C用ライブラリ.Perl/PHP/Python/Rubyのbindingあり.
- Ruby RDF Project
- Ruby用ライブラリ群
- Perl and RDF
- Perl用ライブラリ群
- SPARQL Endpoint interface to Python
- PythonのSPARQLクライアント実装
- Sgvizler
- JavaScript用のSPARQLを使った可視化ライブラリ
- Gephi SemanticWebImport
- グラフ可視化・解析ツールであるGephiのRDF・SPARQL用プラグイン
- Semscape
- グラフ可視化・解析ツールであるCytoscapeのSPARQL用プラグイン
- R SPARQL
- 統計・可視化ソフトウェアであるR用のSPARQLプラグイン
- RDF Refine
- データクレンジングツールであるOpenRefineのRDF拡張.SPARQLによるReconciliationやRDF出力等ができる.
- D2RQ
- RDBのデータをLinked Dataとして公開するためのツール
- Pubby
- SPARQLエンドポイントのデータをLinked Dataとして公開するためのツール
- Link Data
- RDF作成とそのアプリケーション作成プラットフォーム
- SparqlEPCU
- RDFを作成・登録してSPARQLエンドポイントを作成できるサイト
- OpenLink Software Virtuoso Universal Server
- Ontotext OWLIM
- AllegroGraph
- OpenRDF Sesame
- 4store
- Apache Jena TDB
- BigData
- Mulgara
- Journal of Web Semantics
- Semantic Web Journal (SWJ)
- International Journal on Semantic Web and Information Systems (IJSWIS)
- International Semantic Web Conference (ISWC)
- Extended Semantic Web Conference (ESWC)
- I-SEMANTICS
- International World Wide Web Conference (WWW)
- Joint International Semantic Technology Conference (JIST)
- International Semantic Web Applications and Tools for Life Sciences Workshop (SWAT4LS)
- ACM Web Science Conference (WebSci)
- WikiCFP: Linked Data
- Linked Data – Connect Distributed Data across the Web
- 人工知能学会 セマンティックウェブとオントロジー研究会
- セマンティックWeb委員会
- Linked Open DataチャレンジJapan
- LinkedData勉強会
- Open Knowledge Foundation (OKFN)
- Open Dataを推進するイギリスの非営利団体
- Open Knowlege Foundation Japan (OKFJ)
- Open Knowledge Foundationの日本支部
- Open Data Insitute
- Open Dataに関する研究やインキュベーション等を促進する団体
- World Wide Web Foundation (W3F)
- Web普及のための財団
- World Wide Web Consortium (W3C)
- Webに関連する仕様策定をする団体
- The Internet Engineering Task Force (IETF)
- インターネット技術の仕様策定をする団体
- Linked Open Data Initiative
- 日本でのLODの普及促進を目的としている非営利団体
関連仕様
ツール・ライブラリ
Linked Open Dataに関連するツールは,Semantic Web Development ToolsやLinkedData.jp: ツールにまとめられています.ここではライブラリ,解析・可視化,データ作成・公開支援,RDF Storeについて代表的なものを取り上げることにします.
ライブラリ
RDFやSPARQLは様々な言語でライブラリとしてサポートされています.代表的なものを以下に挙げます.
上記以外のライブラリは以下から辿れます.
解析・可視化
データ作成・公開支援
RDF Store
RDFを格納して処理できるデータベースです.Triple Store, Quad Store, RDF Database等色々な呼び方があります.代表的な実装は以下の通りです.
一覧は以下から辿ることができます.
会議・コミュニティ
Linked Open Dataに関連する国内外の会議やコミュニティ等を挙げます.国際会議のように毎年ウェブサイトが変わるものは2013年7月時点で最新のサイトへのリンクとしました.
関連団体
おわりに
本稿ではLinked Open Dataに関連する情報を紹介しました.Linked Open Dataは技術的にはWorld Wide Webの仕組みを踏襲したものですが,その上で人工知能,メディア,文化芸術,生命科学,行政,地理空間等様々な分野を結びつける学際的な領域として発展しています.このブックマークがLinked Open Dataの世界を理解する一助になれば幸いです.