G検定 QAI

株式会社リュディアです。今回は QAI（Qulaity of AI）についてまとめてみます。

AIはブラックボックスである、というフレーズはよく見かけます。与えられた入力セットに対しなぜその結果を出力したのかわからないという意味です。これに対する 1 つの考え方が XAI、説明可能AI です。XAI の詳細は以下のまとめを見てください。

一方で AI システムの品質に対する議論もなされています。従来のシステムはある入力や設定に対し出力がどうなるか決まっています。ただ規模が大きい場合に総当たりの確認をする手段がないない、という問題があるだけです。実際にシステムのテスト手法や評価手法も整備されています。しかし AI を用いたシステムについてはブラックボックス性の問題もあり整備されていないというのが実情です。

CACEという性質をご存じの方もおられると思います。Changing Anything Changes Everything の略語で、何かを変えると全てに影響を及ぼしてしまうということです。全体に影響を及ぼしてしまいますが何がどのように影響を及ぼしているのかわからない、という意味です。JST の「AI応用システムの安全性・信頼性を確保する新世代ソフトウェア工学の確立」の p17 にも記載されています。以下、リンクをつけておきます。

タイトル未設定

そこで AI システムがどの程度保証されるものなのかという定義が必要になってきました。これが QAI (Quality of AI) の考え方です。産業界では QA4AI（Quality Assurance For Artificial-Intelligence-based products and services）というコンソーシアムが構成され、以下のようなガイドラインが公開されています。

タイトル未設定

この資料の中にはAI 製品の品質保証において考慮すべき5つの軸が示されています。上記資料の p11 から詳細が記載されていますので 5 つの軸のみ以下に記載しておきます。

Data Integrity
Model Robustness
System Quality
Process Agiity
Customer Expectation

他にも日本のソフトウェア科学会の取り組みの1 つである機械学習工学研究会（MLSE）のような学術界での取り組みもあります。

MLSE

今回は AI システムの品質 QAI についてまとめてみました。

では、ごきげんよう。