人工知能のブラックボックス問題

▼ 文献情報 と 抄録和訳

医療におけるAIは説明可能でなければならない

Kundu, Shinjini. "AI in medicine must be explainable." Nature Medicine (2021): 1-1.

[ハイパーリンク] DOI, PubMed, Google Scholar

[コラム内容] 人工知能や機械学習（AI/ML）を搭載した新しい医療機器の登場を受けて、AIの基礎となる論理が理解可能でなければならないかどうかについて議論が巻き起こっている。ある会議では、参加者に次のような質問を投げかけた。

あなたががんにかかり、腫瘍を取り除く手術が必要だとします。もし、あなたが癌にかかっていて、腫瘍を取り除く手術が必要だとします。死ぬ確率が15％の人間の外科医と、死ぬ確率が2％のロボットの外科医のどちらかを選ばなければならないとしたら、あなたはどちらの外科医を選びますか。ただし、ロボットがどのように動作するかは誰も知らないし、質問もできないという条件付きです。

出席者のうち1人を除いて、全員が人間の方を選んだ。
ブラックボックス問題は、AI/ML技術がほとんど臨床現場に導入されていない理由の一部でもある。医療者は、自分の判断を捨ててまで機械に頼ろうとはしない。また、論理が不透明な装置に頼ることは、医療倫理の原則に反するという倫理的な問題を有する。
病気の診断や患者の予後診断のためのAIアルゴリズムの背後にある論理を明らかにするために、「ポストモデリング説明可能性」と呼ばれる研究活動が行われている。このような解釈可能性は、医療におけるAIモデルの要件であり、最初から組み込まれている必要がある。

▼ So What?：何が面白いと感じたか？

風の谷のナウシカ（漫画版）のクライマックス、ナウシカにこんなセリフがある。

生きることは変わることだ。王蟲も粘菌も草木も人間も変わっていくだろう。腐海も共に生きるだろう。
だがお前は変われない。組み込まれた予定があるだけだ。死を否定しているから。
真実を語れっ。私たちはお前を必要としない。

この、「組み込まれた予定」が、どんどん複雑になってきていて、AIが出す結論の解釈が難しくなってきている。
それが問題である！！！、というのがブラックボックス問題だ。
だが、文明の前進とともに、さらにこの問題は大きくなってゆくだろう。
なぜなら、文明とは、言ってしまえば、プロセスの省略・自動化であるからだ。

「ゴシゴシ手洗いするなら、洗濯機に突っ込んでおけば、勝手に洗ってくれるよ」
「歩いて1週間かけて東京から京都に行くなら、新幹線で数時間でつくよ」
「わざわざ火を起こす手間がかかるなら、カチッと、電灯をつければ闇が消えるよ」

AIが実現するのは、「考えるプロセスや手間、また人間の思考の不確実性を、われわれが解決しますよ」である。
だから、そのプロセス自体を顧みることは、その本来の目的からすれば、矛盾をはらむものではないかとも思われる。それを省略するために作られたのだから！
だが、このコラムで投げかけられた質問（手術を人間 or ロボット）には、「人間」と答えてしまうだろう。
それは、なぜ？
洗濯機や冷蔵庫や電気といったブラックボックスは平然と使っているのに？
医療に関するAIは選択できない理由は、何？
それらの質問に対して、人間である自分の頭で考え、答えを出していくこと。これは責務だと思う。

手塚治虫「火の鳥」に、こんな局面がある。
未来の人類世界において、人々は、自分たちが作り出した最強の人工知能が搭載された機械に、国の運営のすべてを任せていた、その決定にしたがっていた。その結果、各国の機械同士が出した結論は、「戦争しかない」であった。人々は滅亡への戦争に盲進していくのだが・・・。その政治家に対して、以下のセリフがある。

なぜ機械のいうことなどきいたのだ！
なぜ人間が自分の頭で判断しなかった。ええっ?

こう言われないように、答えはまだ出ないけど、考えることは放棄したくない。