私のブックマーク
機械学習のプライバシーとセキュリティ（Privacy and security issues in machine learning）
荒井ひろみ（理化学研究所 革新知能統合センター (AIP) ）
はじめに
機械学習は近年様々なアプリケーションに使われています．その中には購買履歴や移動履歴，診療情報などの個人にまつわるデータを学習に用いるケースも多く存在します．そのデータ提供者のプライバシー保護は重要な課題です．また，学習モデル自体を知的財産として秘匿させつつも，そのモデルを用いた予測結果をサービスとして使いたいようなケースも想定されます．このような場合のプライベートな情報の漏洩の可能性や保護の方法の検討事例について紹介します．
また機械学習におけるセキュリティも学習モデルを安全に利用するために重要な課題です．機械学習の結果を恣意的に操作しようとする学習データの汚染や，スパムフィルターなどのセキュリティのための識別器をすり抜けるような巧妙な攻撃データ作成といったセキュリティリスクが存在します．
上記の話題に関連して，機械学習の公正性，透明性，制御可能性という要請もあります．データ保護やセキュリティのためには学習データやアルゴリズムを秘匿する方が得策ですが，一方で学習モデルが不透明であると，差別的な振る舞いなどの不公正さが蔓延する恐れがあります．またAIの透明性，理解可能性，制御可能性は多くの議論の場で重要な課題とされており，現代のAIで多くの役割を担う機械学習にはこれらの性質が望まれていると言えます．機械学習における安全と同時にこれらの要請に答えるための情報開示は重要であるといえます．
本記事では機械学習におけるプライバシー保護，セキュリティ，情報開示に関する研究動向を把握するための資料を紹介します．
機械学習におけるプライバシー
機械学習におけるプライバシー保護については，秘匿性の高いデータの収集，分析，学習モデル自体やそれを用いた予測結果等のデータ開示という３つの過程それぞれについて考える必要があります．プライバシー保護技術全般については，以前の佐久間氏によるプライバシー保護データマイニングのブックマークに詳しいため割愛します．概要を述べると，データの収集，分析については秘密計算や暗号学的アプローチが有用です．本ブックマークではデータ開示におけるプライバシーを扱い，プライバシー侵害についての研究及びプライバシー保護手法についての代表的な論文を紹介します．
プライバシー侵害を評価するには，ある知識や計算能力をもった“攻撃者”を想定し，その攻撃の成功確率を評価することが一般的です．学習モデルの開示によるプライバシー侵害については，以下の報告が代表的です．
Fredrikson, Matthew, et al. “Privacy in Pharmacogenetics: An End-to-End Case Study of Personalized Warfarin Dosing.” USENIX Security Symposium. 2014.
https://www.usenix.org/node/184490
ワーファリンの投与量を算出するための線形回帰モデルの開示により学習データ提供者の遺伝子型が推定されるリスクの報告です．攻撃者はターゲットの個人情報の一部を知っていると仮定し，それを用いたMAP推定を行います．
Fredrikson, Mattew, et al. “Model inversion attacks that exploit confidence information and basic countermeasures.” Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security. ACM, 2015.
http://dl.acm.org/citation.cfm?id=2813677
決定木及びニューラルネットワークによる顔認識モデルの開示による学習データ中の個人のプライベートな情報が推定されるリスクの報告です．攻撃者が学習モデルを知っているwhite-boxモデルに加え，攻撃者があるテストデータセットに対する学習モデルの予測結果だけを知っているblack-boxモデルについても攻撃モデルを提案しています．攻撃方法は同じくMAP推定です．
機械学習モデルに対するクエリ応答の情報からモデルの情報が盗まれるプライバシー侵害については上記のblack-boxモデル以外に
Tramèr, Florian, et al. “Stealing Machine Learning Models via Prediction APIs.” USENIX Security Symposium. 2016.
https://www.usenix.org/conference/usenixsecurity16/technical-sessions/presentation/tramer
が提案されています．これはある学習モデルからクエリ(テストデータ)を用いた予測値を返すAPIを想定し，予測値の集合を知る攻撃者によってモデルの情報を盗まれるリスクを評価しています．攻撃モデルとして複数の方法を提案し，予測値の数値を丸めた場合にもある程度のクエリ回数でモデルの情報を盗めることが示されました．
プライバシー侵害リスクの評価方法については，題材が機械学習ではありませんが，以下が参考になります．
Wagner, Isabel. “Genomic privacy metrics: a systematic comparison.” Security and Privacy Workshops (SPW), 2015 IEEE. IEEE, 2015.
http://ieeexplore.ieee.org/document/7163208/
この論文では様々な評価軸の必要性が指摘されています．エントロピー等のデータセット全体の情報損失と個別データに対する攻撃成功率の指標ではリスク評価が異なるケースなどを示し，複数の指標を用い様々なリスクの側面を評価するべきと提案しています．
開示におけるプライバシー保護については，差分プライバシーなどのランダム化による方法と，数値の丸めや抽象化があります．後者については匿名化などでは用いられますが，機械学習についての研究はあまり多くありません．前者については以下の総説が網羅的です．
Dwork, Cynthia, and Aaron Roth. “The algorithmic foundations of differential privacy.” Foundations and Trends in Theoretical Computer Science 9.3–4 (2014): 211-407.
http://www.nowpublishers.com/article/Details/TCS-042
これは差分プライバシーの提唱者Dworkらによる差分プライバシーの入門書です．
機械学習のセキュリティ
機械学習のセキュリティについては，学習の結果得られるモデルの操作といったモデル自体への攻撃，学習モデルを用いたフィルタリングといったモデルの利用に対する攻撃やそれらに対する防御の提案があります．
機械学習のセキュリティについては以下の論文に様々な攻撃モデルの提案があります．
Barreno, Marco, et al. “The security of machine learning.” Machine Learning 81.2 (2010): 121-148.
https://link.springer.com/article/10.1007%2Fs10994-010-5188-5?LI=true
攻撃者が意図的に学習結果を操作しようとするデータの汚染や，攻撃を検出する学習モデルに対し検出を回避しようとして入力パターンを変更してくる状況などについて攻撃の定式化を整理，提案した論文です．
学習モデルによる検出の回避としては例えば以下のようなものがあります．
Lowd, Daniel, and Christopher Meek. “Adversarial learning.” Proceedings of the eleventh ACM SIGKDD international conference on Knowledge discovery in data mining. ACM, 2005.
http://dl.acm.org/citation.cfm?id=1081950
クラス分類器をすり抜けようとする攻撃者が学習器についての攻撃に十分な情報を取得し攻撃者にとって有用性の高いインスタンスを誤分類させるような攻撃を学習の問題として定式化しています．線形分類器の場合にこれを達成するアルゴリズムを提案しています．
また，学習モデルを攻撃するためのデータの汚染については近年セキュリティ関連の機械学習にとどまらず様々なタスクにおいてモデルが提唱されています．例えば
Li, Bo, et al. “Data poisoning attacks on factorization-based collaborative filtering.” Advances in neural information processing systems. 2016.
http://papers.nips.cc/paper/6142-data-poisoning-attacks-on-factorization-based-collaborative-filtering
攻撃者にとって都合の良いアイテムを推薦させるようなデータ汚染モデルの提案です．
Papernot, Nicolas, et al. “The limitations of deep learning in adversarial settings.” Security and Privacy (EuroS&P), 2016 IEEE European Symposium on. IEEE, 2016.
http://ieeexplore.ieee.org/abstract/document/7467366/
深層学習を用いたクラス分類を誤らせるためのサンプル改変方法の提案です.
機械学習におけるデータ開示
セキュリティやプライバシーに関連する話題として，情報開示の必要性及び開示と保護のバランスがあります．政策や法律，技術など様々な観点からの最近の議論を紹介します．
計算機による自動処理における，処理に対するaccountabilityや透明性の実装方法についての議論は以下に詳しいです．
Kroll, Joshua A., et al. “Accountable algorithms.” U. Pa. L. Rev. 165 (2016): 633.
http://heinonline.org/HOL/LandingPage?handle=hein.journals/pnlr165&div=20&id=&page=
情報開示について，例えば機械学習などの自動処理を行うシステムのソースコードや学習データを全て開示してしまうことはセキュリティやプライバシーの点でマイナスな上に，人間に理解しやすい形ではないという問題提起がなされています．
主要な国際会議，ワークショップ
プライバシーやセキュリティは，情報セキュリティや機械学習，データベースなど様々な分野で発表が見られます．ここでは，よく関連論文が発表されているものを挙げていきます．
これらの話題全般については，情報セキュリティの国際会議に多く論文が見られます．代表的なものは以下です．
IEEE Symposium on Security and Privacy (S and P)
https://www.ieee-security.org/TC/SP2017/index.html#
USENIX Security Symposium
https://www.usenix.org/conference/usenixsecurity17
The ACM Conference on Computer and Communications Security (CCS)
https://www.sigsac.org/ccs/CCS2017/index.html
差分プライバシーやデータ汚染に関しては，機械学習の国際会議に見られます．例えば以下の会議です．
Annual Conference on Neural Information Processing Systems
https://nips.cc
情報開示に関係する，透明性や公正性に関しては以下のワークショップが近年盛り上がりを見せています．
Fairness, Accountability, and Transparency in Machine Learning
http://www.fatml.org
また，機械学習の主要会議の一つNIPSのcompetition trackとして，NIPS 2017: Non-targeted Adversarial Attackが行われます．
https://www.kaggle.com/c/nips-2017-non-targeted-adversarial-attack
おわりに
本記事では機械学習のプライバシー及びセキュリティに関する参照情報を紹介しました．まだ若い分野であり教科書や総説などが少ないため重要と思われるものをピックアップしましたが，これは著者の主観であることをご理解ご容赦下さい．機械学習の社会利用が進む現在，機械学習の安全性の重要性は高まっているといえます．本稿がこのトピックにおける理解の一助となれば幸いです．