解釈可能なAIと説明可能なAI

説明可能なAI (Explainable AI）と解釈可能なAI (Interpretable AI）の違いを理解していない人が多いようなのでメモをしておく．

説明可能なAIは最近の研究の流行で，ブラックボックスである機械学習（特に深層学習）に「なぜ」を付加するためのものであり，色々な手法が提案されている．画像に「このあたりが猫っぽいから」とか，「そこを隠すと猫かどうか判別できないから」とか，「この特徴を除くと予測精度が落ちる」とかがこれにあたる．

一方，解釈可能なAIというのは，人間が理解し，意思決定（行動）につなげることが容易なもの指す．その差は微妙で同じものと説明している人たちも多いようだが，（せっかく2つの用語があるのだから）区別して使うべきである．

また，説明可能にするために，性能を落としてはいけない．一般的に，説明可能性と性能はトレードオフ関係があると信じられているが，これは誤りである．これは，CARTに代表されるように，性能が悪くて説明が（さらに解釈も）容易な手法があるために生じた誤解である．深層学習では，一度説明可能性を無視して訓練し，その後で簡単な処理を行って説明可能にする．特徴重要度は代表的な説明用のツールだが，これも性能とは無関係に計算できる．

ただし，特徴重要度やヒートマップを示すだけでは説明はできるが，解釈は難しい．解釈可能性は，それを使う人によって変わるが，誰でも解釈ができるような手法というと決定木くらいしか見当たらない．そこで，決定木をベースに，説明可能な補助的な可視化を加えたシステムを構築することにした．

決定木は最適化を使って構築し，可視化は決定木はdtreevizで，他の可視化はyellowbrickを使うことにする．従来法では不足する埋め込みやメタヒューリスティクスによる最適化などをやる必要があるが，学生さんたちには良いテーマだろう．