説明可能な機械学習の課題

　今機械学習の活用が広がるにつれ、重要な意思決定での活用検討も増えてくること思います。

　そんな中、こんな論文があることを知り、読んでみました。

Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead

「重要な意思決定が必要な場面でブラックボックス機械学習を使うのはやめて、解釈可能な機械学習を使いましょう」　拙訳(意訳)

　興味深い内容だったので、その一部を要約してみました。私の拙い理解で恐縮ですが、よろしければお付き合いください。

説明可能モデルの問題点

　「構造が複雑すぎて説明が難しい」「商業製品で中身が開示されていない」などの理由でその動きの解釈が難しいものをブラックボックス機械学習と呼びます。このモデルから、人間が理解できる形の情報を引き出すため使われる別のモデルを説明可能モデルと呼びます。

　論文では説明可能モデルには以下の誤解と問題があるとします。

正確性と解釈可能性はトレードオフであるという誤解

　「高い精度を出すためには解釈性を犠牲にする必要がある」という思い込みがあるが、それは誤解である。解釈可能なモデルでも正しく設計すれば高い精度を得ることが可能である。

説明可能モデルが完璧な説明をしてくれるという誤解

　「説明可能モデルがブラックボックスモデルを忠実に説明する」という思い込みがあるが、それは誤解である。オリジナルモデルの正しい説明になっていない場合もある。

間違った判断の例
オリジナルモデルが年齢と犯罪歴を使って再犯予測をしているのに、その２つと人種に相関関係がある場合、説明モデルが「オリジナルモデルは人種を元に判断をしている」と間違った説明をする場合もある

正しくても意味が無い説明の場合がある

　オリジナルモデルの動きを適切に説明する情報が提示されると、それが十分な情報と思い込んでしまう場合があるが、それは誤解である。実際はそれが一部の動きだけを説明するものであり、それだけでは全体の動きを判断できない可能性がある。

画像解析で「画像のどの部分が判断材料として大きな比重を持ったか」を説明する顕著性マップ(Saliency Map)というのがある。これは顕著性マップは「どこが使われたか」を示すだけで、それがどのように処理され最終的な結果になったかという情報を示すものでは無い。また正解データだけを使っての説明にも問題がある。ハスキー犬の画像を正しくハスキー犬と判別したケースと、楽器と誤判別したケースで顕著性マップがほぼ同じの場合もある。

　上記に加え「ブラックボックスなのでモデルに無い情報を加えた判断が難しいこと」、「多様な入力情報の精度を保つのが難しいこと」、「複雑なモデルのためトラブル発生時の問題判別が難しいこと」などが課題として上げられています。

解釈可能な機械学習という選択肢

　ブラックボックス機械学習に対し、その処理内容を人間が解釈できるものを解釈可能な機械学習と呼びます。

　論文では、解釈可能な機械学習を検討すべきであると述べられています。ブラックボックス機械学習より制度が低いという誤解がありますが、実際は適切な設計をすれば多くの場面で高い精度を得ることが可能としています。

参考記事

　よろしければ、こちらの記事もお読みいただけると嬉しいです。

Photo by Emeric Deroubaix on Unsplash