XAI （Explainable AI、説明可能なAI)： 信頼できる人工知能に支えられる社会を目指して

本記事は、AI のブラックボックス問題に対する解決の方向性の一つである、XAI （Explainable AI、説明可能なAI)に関する記事です。

AI のブラックボックス問題

様々なタスクにおける機械学習、深層学習の劇的なパフォーマンスの達成により、AIは幅広い産業で活用されるようになりました。自然言語処理、パターン認識、画像認識、音声認識、機械翻訳、ロボティクス、多様な機能が従来にない精度で実現され、AIはいまや医療から交通、電力供給まで生活のあらゆる面に関わる形で広範に使われています。そして、より高度な、自ら知覚し、学び、決断をし、行動をするような自律的なシステムとして進化していくという期待もされ始めています。

ですが、同時に懸念が語られることも少なくありません。集合学習（アンサンブルラーニング）や深層学習、強化学習に基づくAIは、学習過程が複雑であり、ゆえにその推論や認識、予測の結果がブラックボックスとなってしまい、AIがどうしてそのような判断をしたのか確認することが大変困難であるという問題です。

モデルの説明可能性と性能のトレードオフ

AIがブラックボックスであるということは近年よく指摘されるようになりましたが、全ての機械学習モデルがブラックボックスということではありません。回帰モデルや決定木モデル等の手法においては、入力データとモデル出力の決定値の間の関係は比較的理解しやすいことが多いです。そのため、対比的にホワイトボックスモデルと呼ばれることがあります。

モデルの説明可能性とその性能は一般的にトレードオフの関係にあります。人間が管理できないほど膨大なパラメーターを複雑に組み合わせて計算することで、より繊細な高い精度の予測が達成されますが、そのような巨大なパラメーターは実質的に人間には全体像を把握することができずに説明可能であるとはいえません。かといってパラメーターの数を削減してモデルを単純化していくと説明できる余地は高まりますが、性能もまた限定されていくことになります。

それゆえ、集合学習、深層学習等の複雑なモデリング技術は、入力データと出力決定の関係を理解できないレベルにまで複雑にして、言い換えると、モデルの説明可能性を犠牲にして、その高い精度を達成しているという見方もできます。

説明可能性（Explainability）の大切さ

状況によっては、精度と説明可能性の間のトレードオフを気にしなくてもいいかもしれません。例えば、アルゴリズムがなぜ特定の映画を推薦するのか、それが相性の良いものであれば気にはならないかもしれません。

ですが、対して、クレジットカードの申請が却下された理由は確かに気になります。そして、その却下理由がもしも本人の責任に属さないものであったら、例えば、ジェンダーや人種を理由としたものであったのならば、それは大きな問題となります。つまり、バイアスの存在であり、公平性が損なわれているという問題です。アプリケーションによっては、社会的なコンテキストの中で問題視されうるバイアスが存在しないことを説明可能性によって示す必要があります。

また、そもそもブラックボックスであった場合に、故障時にどのように現象の原因を特定し、それを除去していくのかが困難になるという問題もあります。

AIが、クレジットカードの申請やあるいは学業の評価、入社可否の判定等、人の選別や評価に関わる場合、あるいはAIが自動運転や医療診断等の人の生活や命にかかわる場合、「AIがなぜその判断を行ったのか」という判断基準や過程は検証されるべきであり、説明可能性は高くある必要があります。そこで、説明可能なAI、Explainable AI（XAI）というキーワードが出てきます。

XAI（Explainable AI、説明可能なAI）

XAI（Explainable AI、説明可能なAI）とは、AIの解決策を人間が理解できるようにする方法や技術の総称として用いられるキーワードです。予測結果や推定結果に至るプロセスが人間によって説明可能になっていることが大切になります。米国のDARPA（Defense Advanced Research Projects Agency：国防高等研究計画局）が主導する研究プロジェクトにて初めて用いられ、アカデミックの世界をこえて、社会的にも広く使われ始めています。

説明可能性（Explainability）と解釈可能性（Interpretability)

同様の文脈で使われる類義語として、解釈可能性（Interpretability）という用語があります。 Model Interpretability を確保するというような言い方をされますが、こちらは、機械学習モデルが予測、推定を行ったプロセスを、人間が解釈可能であるかどうかを指します。AIの出した結果に、どのような学習データが寄与しているのか、を推定していき、AI の学習モデルを修正できるようにしていこうというアプローチとも言えます。

説明可能性（Explanability）と解釈可能性（Interpretability）は、厳密に区別されて使われいてる用語ではありません。そのため、一般的にXAIの説明として、解釈可能性の説明がされることもあります。ですが、あえて対比的に述べるとしたら、解釈可能性（Interpretability）が、AIの判断による事後の解析を可能にするものに対して、説明可能性（Explanability）は、判断を行った時点でその説明をAIが行うことができる、という違いがあります。

AI による望ましくない学習の防止

機械学習モデルは、時に望ましくない学習をしてしまうことがあります。

例として、TVドラマのレビューがポジティブであるかネガティブであるかを評価するモデルの構築を考えてみます。レビュー内に存在する様々な表現をその感情表現も含めて学習していくことが大切です。このような Sentiment Analysis に関しては、以前記事を書きました。

TVドラマのこの例では、テストデータセットを学習した結果、「『ドラマの展開が単調』という表現を含んだ場合、レビューは否定的である可能性が高い」というような判定基準を獲得することは十分にありえます。そしてそれはあまり問題のない妥当な学習と言えます。しかし、テストデータセットの特徴の作り方具合によっては、特定の俳優が出演する作品はレビューが否定的である、という判断を獲得してしまうかもしれません。これは、社会的に見て妥当な判断基準とは言いにくいものです。まずはテストデータへの過学習である疑いがありますし、それ以上に、社会的に不公平なモデルであり、アプリケーションともいえます。

このようなケースにおいて、XAI のようなアプローチによって、機械学習モデルの学習を監査できるようにしておくことは有用です。監査できることで、AIが望ましくない学習をしていることを発見し、防止することも可能になります。

XAI のその他のメリット

XAIのメリットは、必ずしも、AIの判断過程の検証や監査、その説明ということに限りません。例えば、エンドユーザーがAIが適切な判断をしていることを信頼できるようになることで、製品やサービスのユーザー体験（UX）やエンゲージメントの向上につながります。

また、実務上のメリットもあります。XAI における処理過程の理解と分析を通して、アルゴリズムをよりよいものへと改善することができます。加えて、モデルがどのようにデータを使用して判断を行っているかということを、ビジネスサイドや経営陣へ説明しやすくなります。

学術的には、XAI による処理過程の説明を通し、実空間や社会における現象と、それに対する認識・評価・予測の関係性や構造が明らかになっていき、自然科学や社会科学における理論構築そのものの進歩が後押しされていく可能性もあります。例えば、量子状態を深層学習のモデルを用いて表現する等、量子力学における新たな数値計算手法の試みが存在していますが、XAI の開発と適用が進むことによって量子力学における様々な性質の理解が進むことも期待できます。

XAI に関するカンファレンスや主な研究プロジェクト

アカデミアにおける、XAI に関する取り組みは活発化してきています。

2018年には、ACM（コンピューターサイエンスの国際学会）において、AIを含む社会技術システムにおける、「公平性、説明責任及び透明性」を研究するためのカンファレンス「ACM FAT」が始まりました。同じく、機械学習のトップカンファレンスであるICML（International Conference on Machine Learning）も、機械学習におけるFATを議論する「FAT／ML」を併催しています。

主な研究開発プロジェクトとしては、前述したDAPRAにおける研究プロジェクトに加え、UC Berkley による自動運転における Deeply Explainable AI、Xerox PARCによるCOGLE（Common Ground Learning and Explanation）、CMUやStanford による XRL（Explainable RL）等、数多くのプロジェクトが存在しています。

XAI 実現のアプローチ

XAI に関する開発においては、様々なアプローチが存在しますが、主要な研究開発プロジェクトを参照するに、以下の項目の実現を目指すのが基本線といえます。

・高いレベルの学習性能（予測精度）を持ちながら、より説明可能なモデルを生成する
・ロジックや合理性を明らかにし、その長所と短所を示すことができ、将来どのように振る舞うかを説明する能力を持つ
・人間のユーザーがそれを理解し、AIを効果的に管理できる

これら実現に向けて、初歩的な段階としていくつかのアプローチがありえます。一つは、解釈可能性（Interpretability)を高める方向性と言えますが、AIが答えを導き出す際の注目点を特定するアプローチです。例えば、AIを画像認識に適用する際には、まず認識対象となる画像の一部分だけを切り取り、認識させます。そして、他の部分も続けて認識させていき、それぞれ画像全体を認識した場合の判断とどの程度変わっていくのかを確認します。これにより、判断の対象となるデータの中の、どの部分のどのような特徴に注目して予測・認識したのかを明示できるようになります。例えば、LIMEやSHAPのような手法がそれに該当します。

もう一つのアプローチは、AIが行うべきタスクを分割し、それぞれ別のAIに実行させていくという方法です。例えば、エッジコンピューティングの記事であげたような、キャビテーション検知の例を考えてみます。ポンプやバルブの蒸気の泡の発生を検知し、それによる故障の予知をします（予知保全・PdM）。この際、蒸気の泡の認識から故障の時期やその確率の予測まで一気通貫でAIによる判定ができます。ですが、ここで泡の認識と、それに基づく故障の予測の透明性をそれぞれ確保するために、認識と故障の予測に役割分担した2つのAIによってことにあたるようにします。こうした2段階のステップで判断を行うことによって、一気通貫でやるよりも説明可能性が確保されることになります。もちろん、これは、複雑な因果関係における関係性を取り扱うことで高い精度を出す、大量パラメーターを扱えるAI（アンサンブルラーニングや深層学習）の利点を犠牲にしていることにもなり、ある種の分割損と言えます。そのため、どのようなタスクの分割の仕方が、精度を必要以上に落としてしまわないかということのデザイン能力が問われることにもなります。

このような基礎的なアプローチの上で、自律的に実行するための意思決定のポリシーが作られ、それによって説明可能な自律制御システムを実現していくというのが、XAI 実現の方向性になるでしょう。これらは透明性を持ってその途中経過における説明も、事後による検証も可能にし、安全性と信頼性の高いAIによる社会基盤の構築へとつながっていくはずです。

XAIと規制との関係

今後、政府、公的機関や企業、ユーザーがAIベースのシステムに依存するようになるにつれ、AIの意思決定プロセスには、より明確な説明責任が求められるようになるでしょう。各国の各産業を所管する規制当局ではAIへの規制、特に説明可能性の担保に関して議論と適用を進めてきています。例えば、米国の保険業界では、AIによってパーソナライズされた保険サービスに関する料金や補償内容の決定について説明できることが求められています。

日本においては、2018年に総務省によって「AI利活用原則案」が、内閣府によって「人間中心のAI社会原則」が打ち出されています。これら原則にある、透明性やアカウンタビリティに関する原則や、過度にAIに依存しない社会のあり方に関する原則は、XAI のアプローチへつながる事項だと考えることができます。

また関連するトピックとして、先日、欧州におけるテックプラットフォーマーへの新たな規制の動きについて記事を書きました。

欧州委員会は、2018年から適用を開始した一般データ保護規則（GDPR）において、AIアルゴリズムの重要性の高まりとその潜在的問題に対処する試みとして、AIが意思決定を及ぼす重大なケースに関して処理ロジックを含め、説明をすることを求めるようになりました。

そして、2020年12月15日に欧州委員会から発表された、デジタルサービス法（Digital Services Act）においては、AI（特にレコメンドや広告、ターゲティング等）の使用や透明性確保とレポート（誰が特定の広告を掲載したのか。なぜそのユーザーをターゲットとしたのか）に関するルールを定めることができるようになります。GDPRがデータ活用におけるデータ保護やプライバシー保護の基準として参照されるようになったように、この欧州委員会の方向性は、AI活用に関する基本的な考え方に影響を与えていくと思われます。企業においては、XAI の開発やその実現アプローチの導入についての検討が必要になるでしょう。

終わりに

説明可能性をAIに求める規制の動きはますます強まっていくと考えられます。その要請に応えるべく XAI の研究開発や実システムへの導入に関するアプローチは、各国、各産業、各企業で行われていくでしょう。その過程で、説明可能性に乏しいAIソリューションを別のAIソリューションで代替していくという動きも進み、またそれにあわせたゲームチェンジも起きていくかもしれません。企業においては、XAIの社会的意義と必要性、そして、その実務的な価値を認識して、その適用へと歩みを進めておくべきです。

＊　＊　＊