2016年6月6日に開催した2016年度人工知能学会全国大会「公開討論:人工知能学会 倫理委員会」では、Googleフォームを使って、「人工知能研究者の倫理綱領(案)」およびそれに関する議論について、会場からのコメントを募りました。貴重なコメントをありがとうございました。
いただいたコメントへの、登壇者らからのそれぞれの回答をまとめました。主に公開討論中の議論および倫理綱領案を受けてのコメントのため、公開討論の開催報告および「人工知能研究者の倫理綱領(案)」と合わせてお読みいただけると、幸いです。

なお、回答は倫理委員会としての統一見解ではなく、回答者それぞれの個人の考えとして回答しております。公開討論後に、共有したGoogleドキュメント上でそれぞれが書き込んでいく形で回答を進めました。コメントに対する回答の中には、回答者の間で議論があるものもあり、その議論のやり取りもそのまま残しています。これらの議論があるということも含めて、ご参考にしていただければ幸いです。
回答者は以下のとおりです。
 倫理委員会委員長
  松尾 豊 東京大学
 倫理委員会委員
  西田 豊明 京都大学
  堀 浩一 東京大学
  武田 英明 国立情報学研究所
  塩野 誠 株式会社経営共創基盤 (IGPI)
  長谷 敏司 SF・ファンタジー小説家
  服部 宏充 立命館大学
  江間 有沙 東京大学
  長倉 克枝 科学ライター
 倫理委員会オブザーバー
  山川 宏 ドワンゴ人工知能研究所
  栗原 聡 電気通信大学
 公開討論ゲスト
  土屋 俊 大学評価・学位授与機構

    人工知能と社会、人工知能技術全般にかかわるコメント

  1. 人工知能は仕事を奪う、という形での危機感に関してはご意見はお有りでしょうか。非学会員としては、非常に身近な危機感だと思います。(製造業)
  2. 投資と仕事は近い未来の問題だと感じるのですが、ここへの技術適用は学会として認めるところなのでしょうか?
  3. そもそも人工知能研究者とはどこまでの範囲をさしているのでしょうか
  4. 人工知能が人間に及ぼす危険はあまり感じないが、ディープマインド社が非常停止ボタンを開発した(らしい)
    http://intelligence.org/files/Interruptibility.pdf
    これは、危険な行動をするかもしれないと開発したのか、一般人を安心させる為に作ったのか…?
  5. classified researchがopen sourceになった時に誰でも人を殺めるようなシステムを構築できるようになればそれはそれで問題が有るようなきがするのですがいかがでしょうか?(複雑ネットワーク)
  6. AIに倫理を持たせるには、まずAIが人間に関心を持つような技術が必要ですが、そのような研究はどの辺りまで進んでいますか?
  7. 悪用に対抗するには悪用の仕方をよく知っておく必要がある。新しい悪用を先回って知ることができれば、対抗策をあらかじめ作っておくことができる。この意味で、「悪用の研究」をテーマとして取り入れてはどうか。
  8. 今後エネルギーや食料の問題がテクノロジーにより解決していけば争う理由もなくなり、人工知能が本当に優れているのであれば平和な方向へ向かうと思うんですが、いかがでしょう? そもそも人工知能を持ったロボットには寿命も無いし病気も無いので、支配欲が生まれないんじゃないでしょうか(デジタルコンテンツの開発・運営)
  9. データを食わせた人の責任と、食うシステムを作った人の責任は、分けて考えるべきで、人工知能を買ってデータを食わせた人の責任までは負えない、で良いと思います。
  10. 人工知能アルゴリズムを商品化する際に「仕様」の明示の仕方も倫理綱領または行動指針に入れていただきたい。今の時点であれば大概製品化に学者が介在すると思うので。すでにどんどん商品として出始めているので、仕様の明示方法について、倫理・技術(データ・アルゴリズム)の各視点から潜在的な危険がわかるレベルを検討して倫理委員会で定義して欲しい。将来的な災いというよりも、直近で予想されるのは人工知能なのかよく分からないものにお金を払っている企業が増えて「人工知能=ペテン師」的な捉えられ方になりかねない気がします。(メディア関係者)
  11. 人工知能が人間に与える影響を懸念するのであれば、今後の技術見通しと想定される影響を列挙してリスク評価を行う必要があるのではないか。人工知能の定義が難しいので、個別技術で網を掛けないと意図せざる逸脱者もでるように思う。(信号処理 経営管理)
  12. 論文を渡すとその危険性を定量的に教えてくれる「人工知能ソムリエ」を育ててほしい。
  13. 人の失敗(あるいは失敗の可能性)を眼を皿のようにしてほじくり出してそれがニュースビジネスに利用される今の世の中ってどんだけ倫理的?と思いつつ生贄にならないためにはそれなりの予防も必要かと思います。これは必ずしも考えや気持ちの共有というレベルではなく社会の関心や懸念が高まってきた、今、2016年の時点で今後の発展の可能性に鑑み人工知能研究者が何を期待し何を危惧しているのかを社会に対して言葉できちんと伝える努力は必要だろうと思います。倫理的かどうかということについてはそこに価値判断をする主体(ヒト)の存在を内包してますが1000年後に基本的欲求を組み込まれておらず1000年存在し続けているAIの方がヒトより倫理的価値を正しく計算できると主張したとしたらこれは危惧すべき状況でしょうか?私自身は欠陥だらけの「民主主義」を補う存在としてのAIの未来に期待をもっています。ヒトの倫理性も政治的手段としての民主主義もは有限な身体性の制約を受けておりローカルには正しくても全体としては破滅に向かうといった合成の誤謬から自由ではありません。AIの身体性や生命、自己再生産や再設計などの要素を含めると問題はもっと複雑になりますが。5〜10年後くらいの近未来で考えると、仕事から帰宅した時に「お帰り」とか「お疲れ様」とか言って迎えてくれるロボットが一般的になっているんだろうと思います。現在ペットが占めている位置と同等かそれ以上の存在になっていそうですね。robot AIの言葉に慰められたり、元気付けられたりする時代が始まった時期が危ないかもしれませんね。そのAIはペットのように感情を共有している訳ではなくご主人様にどう接すれば喜ぶか、悲しむか、怒るかを知っているだけですからAIは平行して全然別のことを考えることができます。ウイルス感染でもしようものなら何が起こるか・・・(医療関係者)
  14. 倫理綱領(案)にかかわるコメント

    公開討論では、「人工知能研究者の倫理綱領(案)」について議論をしました。「人工知能研究者の倫理綱領(案)」はこちらからダウンロードいただけます。

  15. 世の中の工学系の学会で、倫理綱領を持っているところと持っていないところのどちらが多いかの統計はありますか?
  16. 綱領が細かすぎる。もっと少ない数の条項にまとめないと覚えられない。例えば、3.(公正性)、8.(他者の尊重)、9.(他者のプライバシーの尊重)は7.(法規制の遵守)の系として整理できるのではないか。
  17. 6.(社会の啓蒙)土屋先生が啓蒙は無理なことだとおっしゃっていましたが、少なくとも文言は努力義務なので、「がんばる」といっているにすぎず、問題ないと思います。ただ、例えば「他者の尊重」で「損害を回復する」というのは無理ですし、かなり実現できないことが書かれていると思います。(法哲学)
  18. 6.(社会の啓蒙)社会の啓蒙とは、人工知能を用いたビジネスの展開・研究をしている法人等も含むのでしょうか。一般の方々への啓蒙内容と異なる内容・方法となると思います。
  19. 9.(他者のプライバシーの尊重)についてですが、”予め定められた目的のために集められた個人情報”という言葉がわかりにくいです。例えば診断画像を集めて、自動診断システムを開発したいという場合はどうなるのでしょうか? 私は匿名性が守られれば、使用しても構わないと思います。年齢と性別のみ使用を許されるとか。私は放射線医学研究所の倫理審査委員でしたが、最初にがちがちの規定を作ったために、後でそれを改正するのに数年かかったことがあります。(放射線科専門医)
  20. 10.(説明責任)について
    不益を防止する為の明確なプロセスが必要なのではないか。法的根拠がない場合、裁判等で防止することは出来ない。このため、人工知能の悪用が前提であり、それを防ぐ方法も明確化する必要があるのではないか
  21. 10.(説明責任)の「悪用されることを防止する措置を講じなければならない」というのは強すぎる。オープンソースで公開したものがどのように使われるかというのは、ハンマーを作ったというのと同じレベルなので、「防止する措置」を組み込むというのは、かなり強すぎる意見のように思われる。(知識工学)
  22. 綱領で「人工知能研究開発者」と言ったときにコミュニティ全体を指している場合と、個々人を指している場合が混ざっている。コミュニティ条項だと思えば「自分は(直接は)関係ない」となる。明確化してはどうか。
  23. さきほど法規制の遵守について説明がありましたが、意味が分かりませんでした。これは法規制よりも、専門家としての倫理を優先する(市民的不服従的な意味で)とういことでしょうか。(法哲学)
  24. 海外との技術競争、人材獲得観点からも考える必要があるのではないか?
  25. 綱領という言葉と宣言という言葉で、何が違うのか、よくわかりません(AI研究)
  26. ヘルシンキ宣言は、すでに起こったことへの反省からきているはずです。人工知能について、ヘルシンキ宣言型をとるなら大惨事が起きるのを待たねばならないとおもうのですが、事故が起きるまで何もしないということでしょうか。いつか事故が起きる気がしてなりません。
  27. ヘルシンキ宣言が世界医師会の宣言であるにもかかわらず、名宛て人は医師以外の者も対象にしているように、本綱領も、学会の会員を対象にする必要はなくて、一般的に人工知能研究者が守るべきルールとして世の中に提案してもいいと思います。
  28. 究極の人工知能からイメージするものは、日本とドイツでは異なるという話を先日聞きました。日本なら友達、ドイツなら奴隷、だと。これがどこまで正しいか分かりません。しかし、日本国内でも人によって人工知能に対するイメージが異なると思いますし、今後の技術の変化に応じて変わると思います。ですから「人工知能が○○という役割を果たす時、△△を守るべきだ」という書き方もありではないかと思いました。綱領として相応しいかは分かりませんが…(情報学、数学、教育)
  29. 研究者倫理とシステムが持つべき道徳綱領を分けて考えるべき。今回の倫理綱領案は前者。後者は製品標準として法整備を学会として提案すべき。(哲学)
  30. 人工知能技術が他の技術と別格の危険を有するという考えには「自律性」がキーワードだと思う。自律性のない技術であれば他技術と同様に人間の運用の問題だが、自律性があると運用を超えて意図せざる危険をもたらし得る。この意味で、倫理綱領ではもっと「自律性」を強調して、自律性の関係しない人工知能技術には直接は適用されないこととしてはどうか。
  31. 研究倫理とそれ以外の倫理は峻別されるべきと考えます。また、それ以外の倫理は研究者との距離で分類し、責任の重さも分類できると思います。西田先生のお気持ちに大きく共感しつつも、土屋先生に大きくは賛成です。 (医学)
  32. 工学的な規範というより、宗教的教えの方がしっくり来るでしょうか?
  33. 綱領によって人工知能研究者を(社会から)守る、という観点からも制定する必要があるように思います。(ウェブ情報学)
  34. 倫理綱領でデュアルユースや資金源の問題にも触れた方がいいんじゃないでしょうか(倫理学)
  35. 研究者・技術者はよく切れるナイフを作るのが仕事で、ナイフが人を傷つけうることはどこかで意識してもよいが、それを理由に自分の仕事を制限しようとするのは「カメラ・モータ搭載で自動制御をして人に刺さりにくいナイフ」を作ろうとするような滑稽さを感じる。つまり、ナイフが人を傷つけないためには、使用者の教育や犯罪者の罰則規定の整備が重要なのであって、技術の問題として捉えることには限界があるのではないか。
  36. 研究をオープンに公開する問題として、のび太のテロが上げられる。そのために同時に公開に当たるうえで強い規定が必要になるのではないか。研究者が作って終わりにならないような取り組みが倫理規定に強く必要であると思われる。
  37. 「法規制の順守」は「法が不備だとしても自分で判断して法の網をくぐらない」と理解しました。(非会員)
  38. 倫理綱領案に「〜すべき」という言葉が幾つか使われている。倫理要綱はコミュニティの外の世界とのインタフェースであり、そのため強い自律心を表明する意思表示として「〜すべき」「〜すべきでない」という言葉を選択したくなる気持ちは十分に理解できるが、一方こういった言葉遣いは間接的にコミュニティ内全体の雰囲気やパーソナリティにも影響を与えることになる可能性があるので注意が必要だと考える。「〜すべき」という言葉使いは、なんらかの絶対性や完璧性を想定した語用であり、権威性に対するある種の反骨心の中で生まれ、これまで特別な権威性に頼らない自由で闊達な雰囲気の中で発展してきた人工知能学会というコミュニティにはあまりふさわしくない言葉遣いであるように思われる。
  39. 倫理委員会および公開討論にかかわるコメント

  40. なぜ倫理委員会のウェブサイトのドメインがAI学会本体サイトとは別のものなのでしょうか。責任の所在を明確にするためにも一体化すべきではないでしょうか。(ウェブ情報学)
  41. 西田先生が上から目線とおっしゃっていましたが、STS(科学技術社会論)からすると、かなり欠如モデルにたった綱領に見えます、専門家倫理ってなるとこういう書き方にならざるをえないのでしょうか。江間さんが冒頭に触れていたアシロマ会議も、今から見ると欠如モデルで批判されているように思います。
  42. 世に啓蒙する上で、グッドニュースは伝えやすいがバッドニュースはどう伝えればいいかという問題があり、全く同じように考えてはいけないと思います。その点どのようにお考えでしょうか(科学技術社会論)
  43. もっと建設的にならないと、どれだけ議論しても倫理綱領ができないのではないかでしょうか
  44. この綱領が傲慢な理由が今日はよく分かった。一部の登壇者を除き、会場からの意見を吸い上げようという意識がない。
  45. 西田先生がおっしゃった「人類を滅ぼすかもしれないというおそれ」を抱いている人が、会場にどれだけ居るのか挙手で尋ねてほしい。
  46. トカゲを指して「恐竜が来た!」と叫んでいるようなチグハグさを感じる。必要なことは神話を崩壊させ、誤解を解くことではないか。
  47. ハンマーを作った人に責任がない、という話がありましたが、今回の話で難しいのは、ハンマーを作った人の責任でなく、ハンマーを発明した人の責任の話だと思います。
  48. 人工知能研究者が、理系だから自分のコミュニティの外へ説明しに行きたくない、というのは、自分のコミュニティの外へ影響を及す分野にいる限り、無責任だと思います。
  49. 「論文発表できなくてもいい」という人は確かに学会に居なくていいですよね。(非会員)
  50. 「マッドサイエンティストではない」という言葉は分かりやすいと思います。(非会員)

    人工知能と社会、人工知能技術全般にかかわる回答

  1. 人工知能は仕事を奪う、という形での危機感に関してはご意見はお有りでしょうか。非学会員としては、非常に身近な危機感だと思います。(製造業)

  2. 仕事には,人に生きがいを与えるという正の側面がある一方で,自分や家族がひもじい思いをさせないために仕事をしなければならない(昔はそう教えられてきました)という負の側面の両面があり,いまや過酷な労働を強いられている人が多数いて,増えつつあることを視野に入れた議論が必要だと思います (西田)
    現在の経済システムの下では,生活の糧を得るための労働機会を失う事は重要な問題ではあり,人工知能の脅威を示す分かりやすい(負の)事例としてよく引き合いに出されています.ただ,身体的,精神的に非常な困難・苦痛が伴い,むしろ積極的に代替されるべきと考えられる労働も多く存在していると思います.良い面,悪い面の両睨みでの議論が必要と思われます.(服部)
    お二人と同趣旨ではありますが、人工物に給料を払うわけではありませんから、人工知能の導入は、期待通りに機能するならば、現在の仕事をしないでよくしてくれて、かつ、同等以上の生産、サービスをすることでしょう。つまり楽になるわけで、それがなぜ危機であるのかがわかりません。(土屋)
    人工知能の導入は設備投資の一種であり、投資余力のある場所から導入が進んでゆくはずです。そして、投資に成功して生産性や付加価値をあげたものが競争に勝つことで進行してゆくのではないでしょうか。人工知能への投資は、成功ケースもあれば失敗ケースも大量に出るでしょう。そうした経済活動をスポイルして、人工知能と失業を直接結びつけることは、多少アンフェアではないかとは思います。
    人工知能による失業ではなく、人工知能の利用という選択肢を得たことではじまるリストラと考えるべき問題だと思われます。
    それへの対応は、人工知能開発というより、社会のセーフティネットや就業支援の問題である側面が大きいのではないでしょうか。人工知能によって何が達成され、どのような仕事が代替される可能性が高いかは、専門家によるガイドがあれば助けになることでしょう。けれど、そこからの具体的な施策については、行政サービスの支援の手を求めたりといった、人間の仕事が重要だと思われます。
    個人的には、これから人工知能が進出するであろう過渡期の社会でキャリアを積まなけれならない学生へ、どういう支援が可能であるかが心配です。(長谷)
    「AIがやってくれるようになる」「新たな仕事が生まれる」といった可能性についての議論も重要かと思います.(栗原)
    【上記土屋氏に対して】:急に社会秩序が変わること自体,社会にいろいろな混乱を惹き起こします.少なくとも,混乱自体を自覚すること,その上でどのように過渡期を円滑にするかのデザインを提示することは,研究開発者の重要な使命だと思います.(西田)
    西田さんに対して: それは僭越です。ぼくのような見方をする者がいるということは、社会に関する見方が多様であることの証拠です。(土屋)
    【土屋さんに対して】 社会にいろいろな意見の人がいるのは当然です.今の世界は原始的すぎるから早く変化させてすぐにでもよい世界に変化させるべきだと思う人がいる一方で,世界の変化は人間社会にとって無理のないようにゆっくりとした速度で起きるべきだと考えている人もいます.各意見は同等に尊重されるべきだと思います.しかるに,テクノロジーの力を背景に,ゆっくりと進みたいという人たちの意向を一方的に無視して,力づくで急速な変化を強いるようなことになれば,それについては,「待った!」と言うべきではないでしょうか.(西田)
    職業に関わる影響は主に二つに分けられると思います.一つはAIがもたらす強大な生産性の増大により富が偏在する可能性ですが,これはベーシックインカムや負の所得税などの政策により対処されるべきものであり,AI学会はこうした施策の決定に関わる情報を提供できるとおもいます.
    より重大な問題は,AIが人の能力を超えてゆくことで,人は従来的な意味での尊厳を保ち難くなるという影響が生じます.もともと労働には人を価値付ける側面がありました.これは人々に価値観を見なおしを迫ると思われますが,私たちは適応することが求められると思います.(山川)
    「技術が社会を変える(雇用を奪う)」という側面もありますが、歴史を紐解くと、期待に反して技術が社会に「受け入れられなかった」例も多くあります。それは技術の出現がはやすぎたり、あるいは技術を使うための環境(法制度や人々の価値観)とあわなかったりなど様々です。仕事によっては、機械に任せたほうが速かったり、合理的だったり公平だったりするものもあるかもしれませんが、人間にやってもらったほうが安心できる、あるいは信頼できるとするものもあるかもしれません。技術に対して人々は受け身なのではなく、むしろ技術や人、そしてそれを取り巻く環境や法整備などは相互に関係しあっています。そのため、すべての仕事が一夜にしてすべて機械にとってかわられるということはないと思います。むしろ徐々に、そして「タスク単位」で変わっていくと思います。そうなったときに、どういうタスクならロボットや人工知能に任せられるのかということを、機械を働かせる環境、法制度、コスト、扱う人の価値観や対応力などと交渉しながら、(受け身ではなく)創造的かつ積極的に考えていくということが大事になるかと思います。(江間)
    この問題の議論で以前から不思議あるいは不満に思っているのは、「人工知能に仕事を奪われる」のが嫌だと皆さんがおっしゃるならば、そんな人工知能は作らなければいいだけなのではないか、ということです。「人工知能に仕事を奪われる」可能性が出てくるのは、人間の仕事を人工知能に置き換えたいと考える人々もいて、その人々の要求を受けてそのような人工知能を作る人々もいるから、ということになります。となりますと、一般の人々 対 人工知能研究者で議論を行うのではなく、「人工知能に仕事を奪われたくない」人々 対 「人間の仕事を人工知能に置き換えたい」人々で議論を行うことが必要、ということになりませんでしょうか。これまでのところ、そういう議論は、残念ながら、行われていないように思います。乱暴に一般的な議論をしても仕方ないので、人間の仕事のどういう部分をどのように人工知能に助けさせれば、より多くの人々が幸福と感じることになるのか、精密な議論を行っていく必要があると思います。(堀)

  3. 投資と仕事は近い未来の問題だと感じるのですが、ここへの技術適用は学会として認めるところなのでしょうか?

  4. 技術の適用に対して,学会がそれを認める・認めないという判断をする事の必要性・是非については議論がありますが,少なくとも現時点では,なんらかの判断や見解を与えるための,学会としての明確な基準がなく,そのためにも,まずは倫理綱領が必要,というのが現状ではないかと思います.(服部)
    個々人の社会生活において技術を「適用」「利用」することについて、学会はとくに意見を述べるものではないと思います。学術的成果が公表されるものであるなら(つまり論文を書いて発表する)、それをどのように適用、利用することについても学会は何もいえないはずです。純粋に同人として、かつでのギルドのように技術的な卓越性をいわば一子相伝で秘密裡に伝承するというのならば 別ですが。(土屋)

  5. そもそも人工知能研究者とはどこまでの範囲をさしているのでしょうか

  6. 境界について(=定義について)考えることは議論を難しくします.「人工知能研究者」という概念は,「一級建築士資格を持つ専門家」と異なり,客観的に識別するすべはありません.「人工知能研究者性」つまり,どの程度人工知能研究にコミットしているかについては,多少なりとも,社会で合意をいえられるレベルで規定できるので,現時点の議論では,「(典型的な)」が暗黙的に仮定されていること,また,「人工知能研究者性」の度合いは個人により,さらには,同じ個人でも時間とともに異なる,という認識を共有し,「人工知能研究者性の高い人たちに望むこと,望まないこと…」の議論を深めていくのが建設的だと思います.(西田)
    このような「そもそも論」は、お互いの理解や認識の共通基盤を確認しあうためにも、今後大いに議論していくことが大事かと思います。そもそも「人工知能」とは何かということ定義自体が、難しいです。「人工知能」そのものも再定義していく試みは、分野を硬直化させない装置としても機能しているとも思います。「知」とは何かということに挑戦し続ける分野であるからこそ、人文・社会科学や芸術、スポーツなど様々な分野とのコラボレーションをすることが可能であり、そこがこの研究領域の魅力の一つではないでしょうか。その一方で、なんでもありだから研究者は責任を持たなくてよいということではなく、「専門家の責任とは何か」についても、同時に議論していくことが重要になります。(江間)

  7. 人工知能が人間に及ぼす危険はあまり感じないが、ディープマインド社が非常停止ボタンを開発した(らしい)
    http://intelligence.org/files/Interruptibility.pdf
    これは、危険な行動をするかもしれないと開発したのか、一般人を安心させる為に作ったのか…?

  8. どちらかといえば前者かと思います.強化学習にて新しい行動を学習するロボットなどの自律行動主体に対して,人が学習を強制的に止めることが出来るようにすることは必須かと思います.(栗原)
    ディープマインド社のアクションはとても興味深いですね.安全と安心とを区別していて,社会に不安を巻き起こさないよう配慮しています.他方,非常停止ボタンの有効性については今後,技術的検討が必要です.人間が依拠している「知能」基盤が突然停止すると,かえって混乱が大きくなることもあります.例えば,自動運転機能が突然停止すると,乗っている人たちに大きな混乱を引き起こす可能性があります.(西田)
    機械にfailsafeがあるのは普通では?(土屋)
    「非常停止ボタン」という一般の人にもイメージしやすい言葉をあえて使うことで、研究者への信頼や機械操作の安心につながるだろうという戦略的なところもあるのかなと思います。では今後は「非常停止ボタン」の開発をすればよいだなと彼らのコンセプトに乗っかるだけではなく、他のコンセプトや実装の仕方があると思います。研究者の方もさまざまなフェールセーフ装置を考えられているので、それについて議論すること、あるいは、議論/発信しやすい表現の方法を考えるのもリスクコミュニケーションだと思います。(江間)

  9. classified researchがopen sourceになった時に誰でも人を殺めるようなシステムを構築できるようになればそれはそれで問題が有るようなきがするのですがいかがでしょうか?(複雑ネットワーク)

  10. 「人を殺める」システムは、すでにいろいろな形で構築可能です。もちろんそれは技術の公開によるものであるわけですが、技術が公開されているならば、それに対抗する技術も開発可能ですが、非公開であれば対抗する技術の開発にはリバースエンジニアリングが必要です。したがって、公開することはそのように危険なシスムテムが構築できるようになることは、非公開である場合で同等の機能をもつシステムを開発されてしまうよりも社会的リスクは低くなります。またとくに、一回作動するだけで大量に殺戮できるようなシステムについては、リバースエンジニアリングする前に大量殺戮が行われてしまうので、そもそもリバースエンジニアリングできるはずだといわれても困ります。したがって、classifiedの研究はしない、研究成果はopenにするという方針は、その技術が悪用され得るゆえに問題を有するという理屈はなりたちません。(「classified researchがopen sourceになった時」という表現はやや省略がすぎるよう感じます。)(土屋)
    質問者のご意見と同感です.テロや非社会的行為に加担する情報(例えば,3Dプリント可能な銃のCADデータ)をオープンにすることには賛成できません.しかし,その判定の方法は難しいですね.例えば,小さい断片をつないでいくと人類に危害を加えることが分かったときどうすればいいのか?これまでは,つなぎ方だけを隠蔽しておけば相応の実効性があったのですが,(人工)知能レベルが上がると,つなぎ方など隠そうにも隠し切れなくなるでしょう.(西田)
    エリック・レイモンドが「伽藍とバザール」で書いているように、「目玉の数さえ十分あれば、どんなバグも深刻ではない」ということはオープンソース・ソフトウエアに限らずいえると考えます。多様な人に晒すことで全体的には安定の方向へいくと考えています。現在のWeb/Internetがトータルとして社会のためとなっているは、このおかげだと私は解釈してます。個別問題を取り上げれば現在でも問題を抱えています(例:ウイルスソフトウエアのコード)。むしろ、少数の人あるいは企業が人類や社会の成否を決めるようなシステムを独占することのほうが危険性は高いと考えています(武田)。
    武田さんと西田さんは鋭く対立する見解をおもちだと思います。ぼくは上述からもあきらかなように、この点については武田さんと同じ意見だと思います。(土屋)
    これについては、私も、武田さん土屋さんのお二人と同意見です。かつて、暗号化技術について、同様の議論がなされたことがありました。すなわち、テロリストが高度な暗号を使えるようになると捜査しにくくなるので、高度な暗号技術については論文でオープンにするな、というような議論です。そのような秘匿政策はうまくいかないというのが、過去の経験からすでにわかっていることだと思います。オープンにすることが最善の安全策であると思われます。(堀)

  11. AIに倫理を持たせるには、まずAIが人間に関心を持つような技術が必要ですが、そのような研究はどの辺りまで進んでいますか?

  12. 「AIが人間に関心をもつ」ということの意味がよくわかりません。自己の判断の結果としての行為が人間のように行動することが予測される対象とそうでない対象とに異なる影響を及ぼすということことを「認識」しているならば関心をもっているといえるならば、すでにどんなAIも人間に関心をもっていると考えられます。(土屋)
    倫理委員会では、「人工知能の倫理」ではなく、「人工知能を使う人間の倫理」「人工知能を開発する人間の倫理」について議論をしてきました(第1回倫理委員会の議事録参照)。道徳的に振る舞う人工知能については、名古屋大学准教授の久木田水生さんが考察をしています(2015の人工知能学会倫理委員会の発表の抄録スライド参照)。(長倉)

  13. 悪用に対抗するには悪用の仕方をよく知っておく必要がある。新しい悪用を先回って知ることができれば、対抗策をあらかじめ作っておくことができる。この意味で、「悪用の研究」をテーマとして取り入れてはどうか。

  14. 賛成です.これまでも倫理委員会での討論でそのような主張をしてきました. (西田)
    人工知能学会における倫理綱領において「悪用」は重要な点ではあるけれど、一側面でしかなと思います。より広範にいうなら、「人工知能システムのもたらす社会的リスク」といったところでしょうか。ただ、これはこれで切り分けて議論できる話なので、リスクアセスメント的アプローチで別途進めるのがいいと考えています。(武田)

  15. 今後エネルギーや食料の問題がテクノロジーにより解決していけば争う理由もなくなり、人工知能が本当に優れているのであれば平和な方向へ向かうと思うんですが、いかがでしょう? そもそも人工知能を持ったロボットには寿命も無いし病気も無いので、支配欲が生まれないんじゃないでしょうか(デジタルコンテンツの開発・運営)

  16. 人工知能がすぐれていても、それを使用するのは現段階では人間です。
    そして、すぐれた人工知能を開発する大きな目的がのひとつが競争である以上、テクノロジーの優秀さが平和な方向への合理性を発揮すると信用しすぎるのは危険です。(長谷)
    仮に,最終的にはAIによって良い世界が実現できるとしても,その過程で生じ得る事態にどう責任を持つのか,という議論だと思います.当日は,「AIが人類を滅ぼす」という正反対の結末についての議論がありました.そこを意識する事も必要とは思いますが,ごく近い未来における問題(職業を奪う問題など)について我々は考えねばならないのだと思います.またすでに言及されている通り,高性能なAI技術が,人間にとっての平和を導くものとは必ずしも言えないと思います.(服部)

  17. データを食わせた人の責任と、食うシステムを作った人の責任は、分けて考えるべきで、人工知能を買ってデータを食わせた人の責任までは負えない、で良いと思います。

  18. 学習により判断が変化するAI技術に対する責任の帰属を考えることは難しい問題です .ある事故等の起因と成るAIによる意思決定の要因は,技術的には学習データの影響とそれ以前に設計された部分との相互作用によるものであり,多くの場合において分離はできないと思われます.
    今後ありうる検討の方向として,例えばAIに対する典型的なステークホルダー間の責任分担のありかたを示す責任モデルが整理され.個別のサービスやロボットなどに対して,何らかの責任モデルてきようされるといったルール作りが進めるなどが考えられると思っています.(山川)

  19. 人工知能アルゴリズムを商品化する際に「仕様」の明示の仕方も倫理綱領または行動指針に入れていただきたい。今の時点であれば大概製品化に学者が介在すると思うので。すでにどんどん商品として出始めているので、仕様の明示方法について、倫理・技術(データ・アルゴリズム)の各視点から潜在的な危険がわかるレベルを検討して倫理委員会で定義して欲しい。将来的な災いというよりも、直近で予想されるのは人工知能なのかよく分からないものにお金を払っている企業が増えて「人工知能=ペテン師」的な捉えられ方になりかねない気がします。(メディア関係者)

  20. 1)仕様の明示は法制度によるものと考えられ、そうした法制度の基盤として参照される考え方を専門家である人工知能学者から提示したものが本案だと考えられます。
    2)現状で製品化に学者が介在するものは少ない状況です。また危険性の定義が必要であり、その表示義務も法制度の設計によるものと考えられます。
    3)「人工知能の偽物」については人工知能自体に明確な定義がなく、使用されている手法によって人工知能と言えるか否かは争いがある状況です。また本件は倫理的問題ではなく開発者と利用者間におけるサービスレベルの合意により保証されるものだと考えます。(塩野)
    「人工知能=ペテン師」的 は、Dreyfus以来ほぼ常識化しているので、その汚名をこの程度の綱領で払拭するのは不可能ではないでしょうか(Hubert Dreyfus, What Computers Can’t Do, 1972)。(土屋)

  21. 人工知能が人間に与える影響を懸念するのであれば、今後の技術見通しと想定される影響を列挙してリスク評価を行う必要があるのではないか。人工知能の定義が難しいので、個別技術で網を掛けないと意図せざる逸脱者もでるように思う。(信号処理 経営管理)

  22. 人工知能の定義が難しいというのは、おっしゃる通りだと思います。個別具体的な話は、事例集などで対応をしていくことが必要になってくるかと思います。(江間)

  23. 論文を渡すとその危険性を定量的に教えてくれる「人工知能ソムリエ」を育ててほしい。

  24. 「危険性」をどのように定義するのか、誰が設定するのか、どのデータセットを使うのかということの議論とセットで考えていく必要があるかなと思います。個人的には「これは危険なのね、じゃあこの論文や研究を世に出すのをやめよう」と考えるのを放棄するための人工知能ではなく、「なぜこれが危険とみなされるのか」「何を変えたら危険ではなくなるのか、それはなぜか」といったことを、「人工知能ソムリエ」の結果と対話しながら研究者が考えていけるような支援ツールになってくれたら面白いと思います。(江間)

  25. 人の失敗(あるいは失敗の可能性)を眼を皿のようにしてほじくり出してそれがニュースビジネスに利用される今の世の中ってどんだけ倫理的?と思いつつ生贄にならないためにはそれなりの予防も必要かと思います。これは必ずしも考えや気持ちの共有というレベルではなく社会の関心や懸念が高まってきた、今、2016年の時点で今後の発展の可能性に鑑み人工知能研究者が何を期待し何を危惧しているのかを社会に対して言葉できちんと伝える努力は必要だろうと思います。倫理的かどうかということについてはそこに価値判断をする主体(ヒト)の存在を内包してますが1000年後に基本的欲求を組み込まれておらず1000年存在し続けているAIの方がヒトより倫理的価値を正しく計算できると主張したとしたらこれは危惧すべき状況でしょうか?私自身は欠陥だらけの「民主主義」を補う存在としてのAIの未来に期待をもっています。ヒトの倫理性も政治的手段としての民主主義もは有限な身体性の制約を受けておりローカルには正しくても全体としては破滅に向かうといった合成の誤謬から自由ではありません。AIの身体性や生命、自己再生産や再設計などの要素を含めると問題はもっと複雑になりますが。5〜10年後くらいの近未来で考えると、仕事から帰宅した時に「お帰り」とか「お疲れ様」とか言って迎えてくれるロボットが一般的になっているんだろうと思います。現在ペットが占めている位置と同等かそれ以上の存在になっていそうですね。robot AIの言葉に慰められたり、元気付けられたりする時代が始まった時期が危ないかもしれませんね。そのAIはペットのように感情を共有している訳ではなくご主人様にどう接すれば喜ぶか、悲しむか、怒るかを知っているだけですからAIは平行して全然別のことを考えることができます。ウイルス感染でもしようものなら何が起こるか・・・(医療関係者)

  26. 倫理的価値観は、あくまでも人間が価値判断をした場合のものであろうと思います。
    民主主義を補助する存在としての人工知能(あるいはデータや情報技術の活用)は重要な研究課題だと思います。
    またペットロボットのように人間の心を(いい意味でも悪い意味でも)操ってしまう可能性のある技術に対しては、大きな注意を払う必要があるというのは倫理委員会でも早くから議論になっていますので、重要な論点と思います。(松尾)
    「今、2016年の時点で今後の発展の可能性に鑑み人工知能研究者が何を期待し何を危惧しているのかを社会に対して言葉できちんと伝える努力」は、人工知能学会ないし人工知能学会員が倫理綱領に従って行動したときの当然の払われるものだと思います。(土屋)

    倫理綱領(案)にかかわる回答

    公開討論では、「人工知能研究者の倫理綱領(案)」について議論をしました。「人工知能研究者の倫理綱領(案)」はこちらからダウンロードいただけます。

  27. 世の中の工学系の学会で、倫理綱領を持っているところと持っていないところのどちらが多いかの統計はありますか?

  28. 統計については知りませんが、日本の状況については、たとえば電気学会が10年前に行った調査の報告書が、http://www.iee.jp/wp-content/uploads/honbu/31-doc-honb/houkoku.pdfにあります。作りそうなところは、だいたい20世紀のうちに作っているので、この調査の対象になった大手のところはなんらかの倫理綱領、倫理規定、行動規範等をもっていると考えていいと思います。(土屋)

  29. 綱領が細かすぎる。もっと少ない数の条項にまとめないと覚えられない。例えば、3.(公正性)、8.(他者の尊重)、9.(他者のプライバシーの尊重)は7.(法規制の遵守)の系として整理できるのではないか。

  30. 「覚える」必要はありません。また過度に抽象化して、具体的な場面への適用の際に解釈に不要な曖昧さが生じることも避けるべきです。倫理綱領として現在の案は、それほど細かいものではありません。(土屋)
    倫理綱領では,会員の行動の倫理的な側面に関わる方針を具体的に示さなければならないので,人工知能の倫理的な側面についての考えを倫理綱領という形で表すとすればこうなってしまわざるを得ないと思います.学会の倫理綱領は一定の社会的な力と影響を持つことになるので,倫理綱領を起草するまえに,人工知能研究開発・社会実装のあり方について,人工知能が他の領域とどこが大きく異なるか,人工知能に特有の倫理的側面は何か,人工知能のアクティビティにいろいろな立場(研究者,開発者,事業者,…)で関わる人が,人工知能のどのような側面にどのようにかかわるべきであるかを人工知能学会としての議論の過程を示し,結論に至ったプロセスも含めて,人工知能学会会員の合意の上で,制定すべきであると考えます.ということになるのであれば,人工知能学会としての,倫理綱領の方向性を決める上での方針の宣言が先になされるべきであり,その宣言(「人工知能学会倫理宣言」(仮称))こそ,少数のわかりやすい条項から構成されることになるでしょう.人工知能学会会員も社会も,人工知能学会倫理宣言」(仮称)と倫理綱領をセットにすることで,個々の倫理綱領条項の意味がよく理解され,序文にも心が通うことになると考えます.(西田)
    綱領については、まだまだ洗練されたものを目指してゆく余地があります。ただ、その方向性として、きれいに整理してしまうのは条文の一人歩きを招く危険があると考えています。人工知能にかかわる問題は状況の進行によって予想外のものが現れる可能性あり、いまだカバーされるべき範囲がすべて見えているわけではないからです。
    対処すべき問題やその性質が明らかになって、その痛い経験をもとにルールを作るという順序より、早く着手されています。これは、今後明らかになるであろう問題を予測しルールを設定しておくことで、遭遇の衝撃をやわらげつつ焦点を明確にし実際に合ったルールへと改善してゆくものであると考えます。
    現実に合わなくなれば綱領には修正が加えられるべきですが、そのたびに綱領を大きく変更するとルールの意義が問われることになります。細かく考えてゆくことは、将来の加筆修正を見越してルールの保守性を高めるためには必要であると思うのです。
    もっと整理されたルールは、何十年も経って状況が落ち着いてから設定してもよいのではないかと考えます。(長谷)
    西田さんへのコメントですが、そのような「宣言」を出すということは、学会として社会に対して影響力を行使することです。そのときにどのような影響を与えるのかということについて考えてからやるべきだというのが倫理綱領草案に含まれていること考えれば、宣言と倫理綱領の順番は自ら明らかだと思います。(土屋)
    (土屋さんへのコメントですが)社会にとっては,人工知能学会が「人工知能学会は,人工知能研究は万人のために行われるべきであると考えています…」と宣言することは,社会に対してその姿勢を公にするために意味があることだと考えています.これにより,人工知能技術が悪用され得ることを意識しているということ,そして,人工知能技術が悪用されたとき,人工知能技術は悪用の標的となった人のために使われてないことになるので,人工知能学会はそれを意図に反する技術応用だと考えている,ということを示すことになります.倫理綱領などは,この精神を実現するために,個々の人工知能研究開発者はどのような点に注意して行動すべきかを示すものだと思っています.(西田)
    土屋先生のおっしゃる通り、過度の抽象化は誤解を招くこともありますが、「目につきやすい」「覚えてもらいやすい」「わかりやすい」ということも大事だなと思いました。IEEEの綱領も1990年の短縮版は60%ほどに圧縮されました。短いからこそ、雑誌の裏表紙などに載せたりでき、多くの人々の目に留まるということもあります。作ったけれど誰の目にも触れられないとするのではなく、積極的に出していくことで目に留まり、議論のネタになるような分量であることも大事かなと思います。あるいは、分量や項目数を減らすのではなく、たとえば各条項のタイトルを長くしてそれを短縮版として扱うなど「見せ方」はいろいろと工夫ができると思います。(江間)
    西田さんの「人工知能学会が「人工知能学会は,人工知能研究は万人のために行われるべきであると考えています…」と宣言する」という主張に心情的には同意するのですが、人工知能学会倫理委員会で議論に議論を重ねても、「万人のため」とは何かについて、合意点に達することはできなかった、というのが実際のところだと思います。今後は、人工知能学会内に閉じず、広くオープンにして、社会との対話を積み重ねていく必要があると思います。我々は、人工知能研究者として、集合知形成に関する研究成果も持っているわけですから、それらの成果も適用しながら、人工知能に関係する倫理観を、社会の中で、いろいろな分野の専門家や一般の人々とともに、動的にかつ多元的に構築し続けていきたいと考えます。(堀)

  31. 6.(社会の啓蒙)土屋先生が啓蒙は無理なことだとおっしゃっていましたが、少なくとも文言は努力義務なので、「がんばる」といっているにすぎず、問題ないと思います。ただ、例えば「他者の尊重」で「損害を回復する」というのは無理ですし、かなり実現できないことが書かれていると思います。(法哲学)

  32. 単純に「できなかったら制裁を与える」ことに実質的な意味があることが必要だということを申しあげたかっただけで、「啓蒙の努力」は、端的に「論文を書く」(=新たに明らかになった真実を表明する)以上のものではない以上は、「啓蒙」などと言うべきではないということです。(土屋)

  33. 6.(社会の啓蒙)社会の啓蒙とは、人工知能を用いたビジネスの展開・研究をしている法人等も含むのでしょうか。一般の方々への啓蒙内容と異なる内容・方法となると思います。

  34. 啓蒙(という言葉が適切かどうかは分かりませんが)の対象に特に制約はないものと思います.ビジネスにおけるAI利用については搾取の懸念などがあり,対話を重ねていく事が大切だと思います.そのためにも,学会としての考え方の基準となる倫理綱領の制定が必要と思います.対象に応じて,啓蒙・対話の中心的話題は自ずと異なるように思われます.(服部)
    「人工知能を用いたビジネスの展開・研究をしている法人等」が人工知能学会と一定の関係をもたない(つまり、賛助会員にもなっておらず、構成員に対して学会への参加を認めていない)場合には、それは、学会の外の「社会」、つまり「一般の方々」と同格ですからまったく同一の内容、方法の「啓蒙」の対象となります。おそらく、そのような法人等は、自分たちのほうがAIをよく知っているのだ、使っているのだと反発することになるでしょうが、学会としては、そのような場合にこそこの倫理綱領を示して、本来あるべき人工知能研究者のあり方を「啓蒙」すべきであると思います。(もちろん、「啓蒙」という言葉は不適切です。「一般の方々」はけっして「蒙」(= 道理に暗い。おろか。無知)だからではないからです。おそらく、非常に多くの局面で、人工知能の専門家のほうが蒙である場合があるでしょう。したがって、「啓蒙」という言葉はこの倫理綱領では使用すべきではないと思います。)(土屋)
    私自身は学者ではないため、この項に触れてよいか迷うところもあるのですが、未来から俯瞰することで見え方が変わる部分もあると思います。
    五十年もすれば、人工知能を用いた経済や社会について研究する個別の専門分野が育っていることでしょう。そのときには、人工知能学者が経済や社会について語ることが適切でなくなる時代がきていると思います。けれど同時に、人工知能に何が可能であるかが発展途上である間は、発言機会が増えるのも自然なことです。人工知能に可能なことと、今後どこまで可能になるかを明確にすることすら、いまだ専門知が必要です。
    ビジネスでも、法人との関係では、一般とまた違ったコミュニケーションがあるでしょう。それでも、技術に何が可能でどのような危険があるかといった基本的なところで、人工知能学者コミュニティから発言があるのが適切ではないでしょうか。
    いま、そうしたコミュニケーションの歴史を築いているわけで、その中で人工知能学者がどのような立場で発言するかを明示するために綱領は有効であると考えます。(長谷)
    服部さんが「対話」、長谷さんが「コミュニケーション」という言葉を使ってらっしゃって、そちらのほうがしっくりくるかと思います。一方向的な「啓蒙」ではなく、立場の異なる人たちが対話をしていくためのプラットフォームや「対話の場づくり」の設計などについても、試行錯誤していくことが必要になってくるかと思います。その意味では、誰と何を話すかというWHATと同時にどのように話すかのHOWを同時に考えていくことが大事だと思います。(江間)。

  35. 9.(他者のプライバシーの尊重)についてですが、”予め定められた目的のために集められた個人情報”という言葉がわかりにくいです。例えば診断画像を集めて、自動診断システムを開発したいという場合はどうなるのでしょうか? 私は匿名性が守られれば、使用しても構わないと思います。年齢と性別のみ使用を許されるとか。私は放射線医学研究所の倫理審査委員でしたが、最初にがちがちの規定を作ったために、後でそれを改正するのに数年かかったことがあります。(放射線科専門医)

  36. もちろん、“予め定められた目的のために集められた個人情報”という表現はわかりにくいですが、個人情報保護でいうところの「目的外使用の禁止」との関係で述べているのだろうと思います。たとえば、診療目的で取得した個人に係る情報を統計の目的で利用することは、一定の条件(たとえば、法律が認めている)が満たされないかぎり禁止されています。匿名性が守られれば許されるのかもしれませんが、「匿名性が守られれば許される」という考え方は2015年の改正で導入されたばかりでまだその運用は明確になっていないだろうと思われます。それに対して、どのように対応していくかの具体的な検討は、この綱領に基づいて学会が実施することができるかもしれません。そのような検討のような活動を行い、その結果に対する社会からの信頼を保証するためのものとして綱領が存在するのだとご理解いただいていいと思います。(土屋)
    これからのテクノロジー社会におけるプライバシーのあり方について,活用という点からは,病院で計測された自分のデータですらももらえないという点など,不条理な点も多いと思います.人工知能技術でデータを活用するという視点も含めた議論を深める必要があります.(西田)

  37. 10.(説明責任)について
    不益を防止する為の明確なプロセスが必要なのではないか。法的根拠がない場合、裁判等で防止することは出来ない。このため、人工知能の悪用が前提であり、それを防ぐ方法も明確化する必要があるのではないか

  38. 今回の綱領案は「人工知能の悪用」が前提ではありません。そもそも「悪用」を含めて社会への影響に対して責任を持つべきということが第一の目的であると考えています。その延長線上に社会的に「悪用」とされるケースがでてくるかもしれません。また、綱領そのものが法的根拠になるとは一般には考えられません(会員資格喪失等のルールを決めた場合、その是非に裁判になるかもしれませんが)。(武田)

  39. 10.(説明責任)の「悪用されることを防止する措置を講じなければならない」というのは強すぎる。オープンソースで公開したものがどのように使われるかというのは、ハンマーを作ったというのと同じレベルなので、「防止する措置」を組み込むというのは、かなり強すぎる意見のように思われる。(知識工学)

  40. そうですね、私もそう思います。むしろオープンソースにすることでもこの義務が果たせるぐらいの規定でよいと私は考えます(武田)。
    これについては、「できないことを綱領に書かない」と指摘したとおり、おっしゃるとおりだと思います。(土屋)

  41. 綱領で「人工知能研究開発者」と言ったときにコミュニティ全体を指している場合と、個々人を指している場合が混ざっている。コミュニティ条項だと思えば「自分は(直接は)関係ない」となる。明確化してはどうか。

  42. 指されているものがコミュニティ全体か個人かを明確にする必要性は、自分もあとから感じました。確かに、いまの綱領案は、記述された条項は自発的に守られるであろうという性善説的に作られていますね。(長谷)

  43. さきほど法規制の遵守について説明がありましたが、意味が分かりませんでした。これは法規制よりも、専門家としての倫理を優先する(市民的不服従的な意味で)とういことでしょうか。(法哲学)

  44. ぼくもその点については気になりました。しかし、法規範が「時代遅れ」になることはあり得ることですし、これまでもありました。当然、立法によってその遅れをとりもどすべきだと思いますが、その前の段階で一般的な法令遵守に優先する価値判断、行動があるのか否かということについてたしかに塩野さんの解説は明確でなかったと思います。(土屋)
    本案では法規範が技術に追いつかない場合を想定し、その際には個々人の持つ倫理を優先し、個人で判断すべきという趣旨になっております。(塩野)

  45. 海外との技術競争、人材獲得観点からも考える必要があるのではないか?

  46. 国内であまり厳しい制約的なルールを決めるとデメリットになるでしょう。しかし、一方であの国は野放図であると認知されることも現在の国際社会ではデメリットです。そのバランスということだと思います(武田)。

  47. 綱領という言葉と宣言という言葉で、何が違うのか、よくわかりません(AI研究)

  48. 「綱領」は自己規律のための規範を述べるものです。それに対して「宣言」は意図、意向の表明にすぎません。したがって、「綱領」に違反した場合は制裁があるはずですが、「宣言」の通りにならなかったからといって制裁は生じないことが普通です。(土屋)
    宣言は幅広いものであり,私が言っていた「宣言」は,ヘルシンキ宣言※を念頭に置いています.今回の綱領案と文体を比べてください.たとえ,ヘルシンキ宣言ほどのものができなくても,日本の人工知能研究開発者が「自分たちの認識と決意」(あるいは「願い」にとどまらざるを得ないかもしれないとしても)をヘルシンキ宣言のような文体,つまり,自分たちが取り組んでいる人工知能研究開発をどのように認識し,どうあるべきであると考えているのか,まず表明すべきだと考えています(西田)
    ※ヘルシンキ宣言
    http://www.wma.net/en/30publications/10policies/b3/index.html
    日本医師会訳 http://www.med.or.jp/wma/helsinki.html

  49. ヘルシンキ宣言は、すでに起こったことへの反省からきているはずです。人工知能について、ヘルシンキ宣言型をとるなら大惨事が起きるのを待たねばならないとおもうのですが、事故が起きるまで何もしないということでしょうか。いつか事故が起きる気がしてなりません。

  50. ご指摘の通りです.人工知能の場合は大惨事が起きる前に,できる限りのことをしておきたいという思いに立っています.我々は実経験を有していないので,迫力と現実感が欠けて,人々にはピンと来ないだとうという事態を避けるために,人工知能が社会に与えるネガティブなインパクトを具体的に予想し,具体的な対策を練っておくことが重要です.人工知能固有の倫理宣言はそのようなボトムアップな作業,その集約,公開された議論の積み重ねに立脚すべきです.(西田)
    事故が起きる前にその予兆があることや「危なかった」と思えることがあったなどの事例は、結構あると思います。「ヒヤリ・ハット」という考え方などはそれに基づいて事例を収集・共有し未然に防ごうとする活動です。事故が起こるのを待つのではなく、事故が「危うく起きなかった」現在・過去の事例などをうまく収集していくような仕組み作りも重要になると思います。そのためにも、異なる価値観や考え方、あるいは制度や文化の人たちと議論することによって、それが他のコミュニティでは「事故」や「事件」とみなされるのかという知見を深めることも必要になってくるかと思います(江間)。

  51. ヘルシンキ宣言が世界医師会の宣言であるにもかかわらず、名宛て人は医師以外の者も対象にしているように、本綱領も、学会の会員を対象にする必要はなくて、一般的に人工知能研究者が守るべきルールとして世の中に提案してもいいと思います。

  52. 「宣言」であれ、「綱領」であれ社会に「対して」公開するものです。
    しかし、主語は、「私たち当学会員は、…はこうします」という表現になるのが普通です。これは、「ヘルシンキ宣言」も基本的には医師に対する道徳的強制力をもち、したがって、個別の国の法律に優越すると考えられています(それはそれでもちろんなかなか大変なことなのですが)。そうである根拠は、この宣言が”World Medical Association”によるものであるからです。現在検討されている人工知能学会の綱領は、人工知能学会員に対して道徳的強制力をもつものと想定されていると思います。人工知能学会がなんらかの意味で国境を越えるものであるならば(入会資格に国籍はないはずなので当然そうですが)、たしかに、「綱領」よりも「宣言」を重視すると考えてもよいだろうは思いますが、現状においてこの人工知能学会が世界を見渡したときにはきわめて地域性が強い(つまり日本ローカル)であることを考えると、「宣言」とすることは(負け犬のとまでは言わないにしても)遠吠えにとどまることは否定できないだろうと思います。 あわせて、ヘルシンキ宣言に言及するときには、その成立の歴史的背景を考慮しておくべきでしょう。すなわち、この宣言は、それに先立つ「ニューレンベルク綱領」がナチスによる人体実験に対する戦争終結直後の反発を反映して、きわめて人体実験に対してきわめて抑制的なものであったのに対して、「可能ならば同意をとる」という緩和の方向を示すためのものであったということです。つまり、(研究者する)医師集団として遵守している道徳規範を示すことによってのみ人体実験のようなものが許されるという構造になっていることは理解しておくべきだと思います。
    (西田さんへ)「ヘルシンキ宣言」は、このような事情を勘案すれば、それほど「崇高」なものではないのです。(土屋)
    公開討論での江間さんの発表にもありましたが、人工知能と社会をめぐっては、人工知能学会倫理委員会だけではなく、ほかにもさまざまなところで議論がされています。多様な立場の多様な人たちがそれぞれ考え議論をし、それらを共有し、参照していくことで、広く一般的なルールができあがっていくといいと思います。(長倉)

  53. 究極の人工知能からイメージするものは、日本とドイツでは異なるという話を先日聞きました。日本なら友達、ドイツなら奴隷、だと。これがどこまで正しいか分かりません。しかし、日本国内でも人によって人工知能に対するイメージが異なると思いますし、今後の技術の変化に応じて変わると思います。ですから「人工知能が○○という役割を果たす時、△△を守るべきだ」という書き方もありではないかと思いました。綱領として相応しいかは分かりませんが…(情報学、数学、教育)

  54. 具体的なルールとして、人工知能の果たす仕事と人間倫理の関係を明確にするのは、将来必要になってゆくことだと思います。ただ、人工知能学会の綱領として文章化するのは、足りていない情報が多すぎるように感じます。
    現実に社会でより人工知能が身近になってしばらくした後に、学会綱領とは別の形で文章化されている可能性は高いと思います。(長谷)

  55. 研究者倫理とシステムが持つべき道徳綱領を分けて考えるべき。今回の倫理綱領案は前者。後者は製品標準として法整備を学会として提案すべき。(哲学)

  56. そのとおりです。前者をまず、後者を次にという順番で取り組んでいただきたいと思います。(土屋)

  57. 人工知能技術が他の技術と別格の危険を有するという考えには「自律性」がキーワードだと思う。自律性のない技術であれば他技術と同様に人間の運用の問題だが、自律性があると運用を超えて意図せざる危険をもたらし得る。この意味で、倫理綱領ではもっと「自律性」を強調して、自律性の関係しない人工知能技術には直接は適用されないこととしてはどうか。

  58. よいポイントだと思います.自律性をはじめとする人工知能特有の側面について議論を深めていくべきだと思います.もう一つの観点は,計算不能/困難性と同様の意味での予測困難/不能性です.つまり,自分たちが作り出した人工知能システムの挙動が完全な予測が不能/困難だという観点です.(西田)
    「人工知能とは何か」というそもそも論は重要であると思います。「技術がどう社会に影響するのか」という視点から議論を始めるのであれば、「自律性のある技術」の社会的影響を考えられますが、それだと議論をする「社会的影響」の範囲が非常に狭く、ややSF的になってしまう可能性もあると思います。人工知能に対する一般的な不安として、雇用や教育など様々なものがあり、そのなかには「自律性」に関するものとは違う観点から議論しているものもあると思います。倫理綱領案を出す目的の一つとして、対話をしていく、不安に対応していくというのが掲げられている限り、「自律性」以外の技術は関係ないと切り捨てるのではなく、現在すでに起きている問題や片鱗が見えているリスクなどに対しても目を配っていくことも重要かと思います。(江間)

  59. 研究倫理とそれ以外の倫理は峻別されるべきと考えます。また、それ以外の倫理は研究者との距離で分類し、責任の重さも分類できると思います。西田先生のお気持ちに大きく共感しつつも、土屋先生に大きくは賛成です。 (医学)

  60. ああしてはいけないこうしてはいけないというよりも,人工知能研究の理念(たとえば,(たとえ完全に定義することも実現することもできないとしても)「人工知能研究開発で,人類全員から災いを取り除き,もっと幸福にしたい」といった),人工知能研究開発に携わる人たちが共感し共有できる宣言の方が重要だと思います.(西田)

  61. 工学的な規範というより、宗教的教えの方がしっくり来るでしょうか?

  62. 「倫理綱領(案)」に対する印象ということでのご質問でしょうか。宗教や価値観など多様な観点に配慮をすることは大事だと思いますが、「教え」というよりは、対話をしながら皆で作り上げていくという趣旨であると思います。(江間)

  63. 綱領によって人工知能研究者を(社会から)守る、という観点からも制定する必要があるように思います。(ウェブ情報学)

  64. プラグマティックにはそういった意味もあると思います。(松尾)

  65. 倫理綱領でデュアルユースや資金源の問題にも触れた方がいいんじゃないでしょうか(倫理学)

  66. 「デュアルユース」については、人工知能技術の利用の結果の可能性について誠実、正直に伝えること、資金源についても誠実性の項目で一応触れていると解釈できると思います。これらの問題については、この綱領を現実に適用するときの指針となるような(想像上の)事例集などで対応するほうが役に立つのではないかと思います。(土屋)
    「デュアルユース」の問題については、どのように触れるべきかわからない、というのが、正直なところだと思います。人工知能研究の成果は、どれもこれも全てがデュアルユーステクノロジーになりうると考えます。将棋ソフトや囲碁ソフトは、敵に勝つための作戦を考えるシステムに応用できますし、小説創作ソフトだって、戦意高揚小説を大量生産するために使われてしまうかもしれません。防衛予算での仕事もしている企業に所属している会員もいますので、資金源について触れることもそう簡単にはいかないように思います。土屋さんが上で書かれたように、「人工知能技術の利用の結果の可能性について誠実、正直に伝えること」が我々にできることだと思います。(堀)

  67. 研究者・技術者はよく切れるナイフを作るのが仕事で、ナイフが人を傷つけうることはどこかで意識してもよいが、それを理由に自分の仕事を制限しようとするのは「カメラ・モータ搭載で自動制御をして人に刺さりにくいナイフ」を作ろうとするような滑稽さを感じる。つまり、ナイフが人を傷つけないためには、使用者の教育や犯罪者の罰則規定の整備が重要なのであって、技術の問題として捉えることには限界があるのではないか。

  68. 同感です.特に自律性があり,学習によりその振る舞いをも変化させるAIシステムの全てを把握して,その動作を規制することは不可能かと思います.かといって,そのような性格を有するAIにて,技術を生み出す側にも何からの行動指針が求められるのだと思います.
    (栗原)
    おっしゃる通りと思います。まず第一義的には、使用者の教育や罰則等の問題と思います。その上で、(遠い)将来の話として自律性をもつ場合のことを予防的に考えるということかと思います。(松尾)
    確かに滑稽に見える面もあるかと思いますが,例えば,自動車事故対策の場合には,自動車等の機械や交通環境といったハード面と,歩行者や運転者の意識などのソフト面の両方から考えること重要かと思います.ですので技術状況によっては,あえて切れにくくするという対策も適宜考慮していくのが良いかと思います.(山川)

  69. 研究をオープンに公開する問題として、のび太のテロが上げられる。そのために同時に公開に当たるうえで強い規定が必要になるのではないか。研究者が作って終わりにならないような取り組みが倫理規定に強く必要であると思われる。

  70. 綱領の実効性についてはもう少し議論が必要と思われます.公開討論でも,例えば退会などの罰則の話がありましたが,現在の倫理綱領案では,主語を学会員ではなく,人工知能研究開発者と,より広く捉えており,その場合に有効な罰則や規定については議論を要します.
    また,人工知能の研究分野は,成功した/体系化されたされた技術を人工知能分野から切り離していき,より不可解・困難な問題や対象に目を向けていく傾向があります.このような開拓者精神に富む気風と,そのような活動への制約は容易に馴染むものではなく,従って,”強い規定”というのは,必要ではあっても,俄かには制定しにくいのではないかと考えます.(服部)
    服部さんへ: 主語を学会員としないと制裁(除名)に意味がなくなるので綱領に実効性がなくなります。(土屋)
    研究をオープンにするほうが良いという判断は,研究をクローズにするリスクへの認識から生じていますので,オープンにするという方向性自体は人類にとって望ましいものと考えます.一方で公開にかかわるプロトコルなどを整備することでインパクトの大きな技術に対して衆目の監視を促進するなどの対策は検討可能なオプションかと思います.(山川)

  71. 「法規制の順守」は「法が不備だとしても自分で判断して法の網をくぐらない」と理解しました。(非会員)

  72. はい。(松尾)

  73. 倫理綱領案に「〜すべき」という言葉が幾つか使われている。倫理要綱はコミュニティの外の世界とのインタフェースであり、そのため強い自律心を表明する意思表示として「〜すべき」「〜すべきでない」という言葉を選択したくなる気持ちは十分に理解できるが、一方こういった言葉遣いは間接的にコミュニティ内全体の雰囲気やパーソナリティにも影響を与えることになる可能性があるので注意が必要だと考える。「〜すべき」という言葉使いは、なんらかの絶対性や完璧性を想定した語用であり、権威性に対するある種の反骨心の中で生まれ、これまで特別な権威性に頼らない自由で闊達な雰囲気の中で発展してきた人工知能学会というコミュニティにはあまりふさわしくない言葉遣いであるように思われる。

  74. おっしゃることはよく分かります。これまで人工知能学会がもっていたリベラルな雰囲気、さまざまなものを受け入れる寛容さと、この表現は逆方向を向くものだと思います。一方で、人工知能学会が好むと好まざるに関わらず世間から注目されていることも確かであり、人工知能学会が社会と対峙し、真摯に社会の期待や不安に対処していこうと考えるのであれば、この倫理綱領のような意思表示が必要なのではないかと思います。ただし、大きな分岐路だと思いますので、人工知能学会会員の方のさまざまな意見をお聞きしたいと思っています。(松尾)

    倫理委員会および公開討論にかかわる回答

  75. なぜ倫理委員会のウェブサイトのドメインがAI学会本体サイトとは別のものなのでしょうか。責任の所在を明確にするためにも一体化すべきではないでしょうか。(ウェブ情報学)

  76. 現在は暫定的に公開しております.最終的には学会本体サイトと統合されることになります.(栗原)

  77. 西田先生が上から目線とおっしゃっていましたが、STS(科学技術社会論)からすると、かなり欠如モデルにたった綱領に見えます、専門家倫理ってなるとこういう書き方にならざるをえないのでしょうか。江間さんが冒頭に触れていたアシロマ会議も、今から見ると欠如モデルで批判されているように思います。

  78. ご指摘のとおりで、それは「啓蒙」という表現の採用に端的に表われています。専門家の職能倫理が、社会との対話をめざすものであるならば、第一に避けるべきことだろうと思います。「欠如モデル」についてはいろいろな解釈があるようですが、基本的には、専門家の職能倫理は、ある意味の欠如モデル、つまり、専門家のみが当該専門知識を有し、他の人々にはその知識はないという意味の欠如モデルは自明の前提です。しかし、別の意味、たとえば、そのような知識を非専門家に注入すれば、その非専門家の科学に対する理解が改善するという意味の欠如モデルをかならずしも前提するものではありません。知識が偏在しているという意味で「欠如モデル」が前提されているという指摘であるとすると、専門家の集団としてはこの前提をはずすわけにはいかないと答えることになるでしょう。他方、「一般の人がもっと学べば、社会全体としての科学的知識の共有は進む」という意味での「欠如モデル」であるとする、そのような態度はとっていないであろうと思います。(土屋)
    欠如モデルへの批判と重複するところが多々あります.人工知能研究者は,人工知能技術については精通していると言えるでしょうが,人工知能の社会的影響については未知だらけであり,そのような背景で自分たちがあたかも(人工知能だけでなく,社会的な面でも)専門的に高いレベルにあるという欠如モデルに立つ言説を展開すること自体,不遜であり非道徳的に響きます.むしろ,未知のことが多いので,いっしょに解を探ろうというよびかけという文体であるべきだと考えました.それを,社会で通用している綱領というのは無理があると思います.他方,義務倫理の立場に立てば,人工知能に依存しない職業倫理を記した抽象性と普遍性が高い綱領自体は,皆が普遍的に守るべきものであると思いますので,今回のような議論をせずに制定することは可能でしょうが,それでは,社会が抱いている不安に対してほとんど何も答えることができないでしょう.(西田)
    西田さんへ: 「義務倫理」(deontology)という立場は、行為の結果を功利の観点から衡量した結果に基礎づけられない形で規則があればそれに従うという立場だと思います。したがって、あんまり高尚なものではありません。規則そのものの根拠については、なにも述べないのが特長です。したがって、ある意味では西田さんのおっしゃるとおり空虚です。しかし、他方で今回議論になっているような倫理綱領は、まさに、行為の結果を功利の観点から衡量した結果によって基礎づけようとする立場で書かれているので、より実質的な貢献が期待されます。(土屋)
    綱領の文言自体はこれからまた議論をしていくことになるかと思いますが、研究者自らが意見を発信していくという姿勢自体は重要なものであると思います。2008-2009年のAAAIの「アシロマ」会議も、まずは専門家が集まって議論をするということで始まっていますが、それが2015年のStanford大学のAI100や、FLIのオープンレターへとつながっています。今回の綱領も「案」であり、それをもとにこのようにコメントをいただきフィードバックをし、考えていく土壌を作っていくものになればと思います。最初の一歩として「綱領案」という発信があり、それに対して「欠如モデル的」との批判があったことを受け止め、それに対してどうしたらいいのかを考えるため、このようなフィードバックの機会を設けたのが次の手かなとも思います。またこのように発信したことが「叩かれるだけだから、やらなければよかった」とならずに建設的な議論の場を作っていくこと、また発信・対話をする人たちが正当に評価されるような仕組みや制度作りも同時に行っていくことが、「欠如モデル」的な視点から抜け出すために必要なことだと思います。(江間)

  79. 世に啓蒙する上で、グッドニュースは伝えやすいがバッドニュースはどう伝えればいいかという問題があり、全く同じように考えてはいけないと思います。その点どのようにお考えでしょうか(科学技術社会論)

  80. 例えばTAYの問題などは、他山の石としていろいろと学び取れるところがあるニュースだと思います。リスクマネジメントなどは、事例から学習することが重要であり、バッドニュースをどう受け止め、今度同じような事例が起きないようにどうすればよいのかと議論を喚起していくきっかけになるのではないかと思います。(江間)
    当日にもどなたかの発言にありましたが、「啓蒙」という表現は、あたかも「世」の人が無知であり、それを「正す」という印象を与えるのでこの文脈ではふさわしくないと思います(『綱領』にはありましたが)。また、社会に対して専門家としての知見を伝達するときには、「グッドニューズ」よりも「バッドニューズ」をどう伝えるかが重要であることはご指摘のとおりです。かつ、「バッドニューズ」のなかには、現実に出来した現象だけではなく、いわゆるリスクの伝達が優れて含まれます。この問題は、江間さんが指摘されている「これから防止するかの参考にする」ということに加えて重要であろうと思います(「今後の防止策」も実際には将来の危険性、可能性に対応するものですので、リスクへの対応といってもよいとは思いますが)。(土屋)
    バッドニュースこそが、社会が専門家の言葉を待つときであると思われます。啓蒙というと不謹慎な状況になってしまいますが、社会が不安にさらされたとき知の立場から発言することは、専門家の大きな役割であるはずです。
    東日本震災のとき、東京大学の早野龍五先生が核物理学者の立場から福島第一原発の原子炉の状態についてtwitterで発言されていたことを覚えておいでのかたも多いのではないでしょうか。人工知能のバッドニュースが登場し、世の中に不安が広がったときに、速報性をもって専門家が発言することは社会に対する貢献であると思います。(長谷)

  81. もっと建設的にならないと、どれだけ議論しても倫理綱領ができないのではないかでしょうか

  82. 建設的に話を進めてゆくことは、倫理委員会でも重視されています。ただ、いまの段階で、議論を重ねてゆくことは無駄ではないと考えます。具体的にできることについて議論を重ねて、ようやく倫理綱領の話にたどり着いたためです。今回の倫理綱領は、委員会の議論から現れた問題提起なのです。
    倫理綱領そのものについては、改善のための方策がかなり見えてきているので、今後より具体的な議論が進んでゆくものと思われます。
    さまざまな問題提起が倫理委員会からあるでしょうし、ご報告させていただいたり意見をうかがうこともあると思われます。(長谷)

  83. この綱領が傲慢な理由が今日はよく分かった。一部の登壇者を除き、会場からの意見を吸い上げようという意識がない。

  84. これまで,人工知能が社会に対して与える影響について,人工知能学会は,明確に態度を示してきませんでした.倫理綱領案の提示は,今後,倫理的側面に関して取り組んでいく意図を明確にするものと捉えていただきたいと思います.今回の倫理綱領は,あくまで学会として現時点で提示できると考えた一案を示したものです.幅広く意見を取り入れ反映するというプロセスは経ておらず,一方通行で示されている,というその作成プロセスが,綱領案の傲慢さを感じさせる原因なのかもしれません.ただ,公開討論を行い,意見を集めて案を洗練させていくプロセスがいま進行中である,という点も認めていただきたいと思います.(服部)
    そんなことはないですよ。(松尾)
    「意見を吸い上げる」という表現はさておき、メディアとして取材する立場の自分から客観的に見ても、倫理委員会のメンバーら人工知能研究者の方たちは、社会や一般の人たちとコミュニケーションを取りながら、人工知能と社会や倫理について考え、議論しようとしてきています。ただ、公開討論の場でそのように受け取られたのはその場のコミュニケーションに課題があったのかと反省しつつ、今後の活動もご覧になって積極的に関わっていただければ幸いです。(長倉)

  85. 西田先生がおっしゃった「人類を滅ぼすかもしれないというおそれ」を抱いている人が、会場にどれだけ居るのか挙手で尋ねてほしい。

  86. 意見分布をみたところでも,会場では「人工知能が人類を滅亡させる」という危惧を有している人は少なかったと思います.あるいは,どれだけの年月の間に,どの様な可能性があるかを一つ一つ検討しなかったからなのかもしれません.歴史をたどってみても壊滅的な事態(世界大戦)が生じる50年前には,大惨事の危惧を有している人はほとんどいなかったと思います.自分の周りを自分で見回しても何も起きていないように感じられるという,経験的な結論でしょう.人工知能が人類を滅亡させるという危機感は,現在でも,世界を広く見渡し,長い視野で歴史を見ている人だけに限られると思います.具体的な議論により大惨事を防ぐ取り組みを早くから始めておくこと自体はとても重要だと考えます.この点,Global Challenges Foundationの12 Risks that threaten human civilisationの取り組みは素晴らしいものだと思います.人工知能学会でもより具体的で詳細な予測と対策に関わる取り組みが望まれます.(西田)

  87. トカゲを指して「恐竜が来た!」と叫んでいるようなチグハグさを感じる。必要なことは神話を崩壊させ、誤解を解くことではないか。

  88. 当日のその最たる例が「人類を滅ぼす」議論だったのかもしれません.ただ,FLI等の声明・活動の動機に見られるように,究極のケースとして,人類を滅ぼすという可能性にも眼差しを向けつつ,検討を行う必要はあるものと思います.ただ,当日も話があったように,究極的なケースだけではなく,職業の問題,AIによる格差・搾取の問題など,現在進行形とも言える問題も存在しており,バランスのよい議論が必要なのだと思います.(服部)
    SFが現実になる時代とは、かつてはSFで夢のように語られた技術が、その限界を明らかにする時代であると、SF作家としては思います。
    神話は現実の前におのずから崩れ去ります。そして、ゆくゆくは信じたい人々だけがそれを信じるようになってゆくでしょう。
    ですが、問題は、神話の崩壊からそれが現実と信者のための神話とに分離してゆくまでの、具体的な過程のほうです。人工知能についてのインフォメーションを求める莫大な要求が、その間では立ち上がってくるでしょう。当然、その大きな流れの中で人工知能学者ができることは限られていますが、それでも莫大なコミュニケーションの手間や情報が必要になることでしょう。そのコストを人工知能学者の皆さんにどの程度お願いできるかいうと、そうした活動が本職ではないのでこれは限られてきます。となると、メディアだったり社会の他のパートの方々に情報発信がシフトしてゆくのでしょうが、そのときもっとも専門的な発言をされる学者側に共通項がなく足並みが完全にバラバラだと混乱がおこることも予測できるわけです。
    将来的なアウトソースの比重の高まりを見越して、いまのうちに人工知能学者の立ち位置を明示する綱領についての議論が必要なのだと思います。(長谷)

  89. ハンマーを作った人に責任がない、という話がありましたが、今回の話で難しいのは、ハンマーを作った人の責任でなく、ハンマーを発明した人の責任の話だと思います。

  90. ハンマーの例ですと,これまでのハンマーはその形を変えることはありませんが,ハンマーを人工知能としますと,そのハンマーが形を自ら変えたり,自分で動き出すような進化を起こすかもしれません.(栗原)
    情報技術の(ほぼ)全てはデュアルユースの性質を備えていると思いますので、発明の責任を問うのは難しいかもしれません。ただ、倫理綱領に示しているように、それが及ぼす影響に対して誠実に対応する必要はあると思います。

  91. 人工知能研究者が、理系だから自分のコミュニティの外へ説明しに行きたくない、というのは、自分のコミュニティの外へ影響を及す分野にいる限り、無責任だと思います。

  92. 人工知能研究者が、理系だから自分のコミュニティの外へ説明しに行きたくない、というのは、自分のコミュニティの外へ影響を及す分野にいる限り、無責任だと思います。
    これまで,人工知能研究者が社会への影響をことさらに強調・議論してこなかったのは,むしろ,現時点の技術を知る研究者として,過剰な期待を与える事を憚る気持ちもあるのではないか,と思います.今回の全国大会(JSAI-2016)でも,技術的には,懸念されている多くの問題については,(少なくとも当分の間は)杞憂と言えるものであろう,という話がしばしばあったと思います.しかし一方で,我々人工知能研究者は,自らの技術について過小評価している点は否めないように思われます.そのような外部からの視点・懸念に対応すること,また何らかの対話をしていく事への意識と責任を認識する必要はあろうと考えます.(服部)
    理系だからということはないように思いますが、これまで人工知能分野というのは長い間注目されておらず、社会に影響を与えることがあまり想定されてきませんでした。しかし、昨今ではそうではありませんから、コミュニティの外への説明もきちんとしていく必要があると思います。(松尾)
    研究者コミュニティ内での多様で難解なコミュニケーションは新たなアイディアの温床ですが,広く社会に向けたサイエンスコミュニケーションはある程度の一貫性と簡潔さが求められます.こうした異なる性質をもつ側面を両立するのは容易ではありません.一般に学術界では独創性の高いハイインパクトな論に評価されますが,今後は,社会への影響について語る仕事や人材を高く評価する価値観を形成していくことも大事に成るのではないかと考えております.(山川)

  93. 「論文発表できなくてもいい」という人は確かに学会に居なくていいですよね。(非会員)

  94. 論文だけが重要なのかということに関しては学会内でもいろいろな議論があります。例えば、システムを作ったことも重要ではないか、(論文にならなくても)新たな考え方を示したことも重要ではないか、などです。ただ、やはり学会の大きな意義は、論文という形で知を体系化し、積み上げていくことにあるでしょうから、論文発表をすることは学会のメンバーであることの重要な要件のひとつかと思います。(松尾)

  95. 「マッドサイエンティストではない」という言葉は分かりやすいと思います。(非会員)

  96. ありがとうございます。人工知能研究者は、もちろん全くそんなことはないのですが、世間からはそうしたイメージで捉えられかねないというギャップに自覚的になるべきではないかと思います。(松尾)