【機械学習マネジメントライン外部品質】|AIシステムの外部品質における各項目の詳細と要求品質ごとの設定目安

ESTYLEデータサイエンス事業部の星ちゃんこと鈴木です。こちらの記事では機械学習品質マネジメントガイドラインの外部品質について説明しています。本ガイドラインは、機械学習を含んだサービスの開発者が、そのサービス品質を担保するために必要な考え方および手順を示したものです。

本記事では、機械学習品質マネジメントガイドラインにおける、外部品質3項目の観点とそれぞれの要求品質レベルごとの設定目安について説明します。

①リスク回避性

【概要】
対象サービスから発生しうるリスクに応じたリスク回避処理がなされているか？人に対する傷害などの人的リスクとその他の経済的リスクの2つの観点について、対象サービスから発生しうる想定リスクを基に要求レベルを設定。

例えば、人的リスクの話で言えば、将棋AIは変な手を指しても対局に負けるだけなので、リスク回避性は考えなくて良いが、自動運転だと誤作動が人命に直結するため高いレベルのリスク回避性が求められる。

【AISL(AI Safety Level)の設定目安】
この後の2項目のレベルが3段階なのに対し、本項目のレベルは7段階に分けられている。それは、他項目が本ガイドライン独自に定義をしているのに対し、本項目は従来のソフトウェアの機能安全を確保する規約である機能安全性規格 IEC61508-1をもとにしているためである。

IEC61508では、ソフトウェアの機能に応じてSIL(Safety Integrity Level)を4〜1およびSILなしのいずれかを割当てる。AISLは規格に則りながらも、その中のSILなしをさらに0.2, 0.1, 0に3分割することで、より詳細にリスク回避性の管理を行おうとしている。

なお現在のところAISL3,4に該当する部分の対策基準は将来の検討課題となっており、現状はシステム設計の見直しにより対応するものとしている。

　　　　[1]人的リスクに対するAI安全性レベル(AISL)の設定目安
※ 従来の規格通り[3]リスクグラフ法やマトリクス法、加算法等でSILを設定し、同レベルを適用

　　　　　　[2]経済リスクに対するAI安全性レベル(AISL)の設定目安

②AIパフォーマンス

 【概要】
サービスとして成立するような性能をモデルが達成しているか。対象サービスの運用をするにあたって前提となる性能要件を基に要求レベルを設定。

例えば、株の自動売買システムの場合、取引が赤字になる性能では実用化ができない。

【AIPL(AI Perfomance Level)の設定目安】
AIPL2：
当該サービスが一定の性能指標（正答率・適合率等）を満たすことが運用上の強い条件であること。
AIPL1：
当該サービスの目的に一定の性能指標（正答率・適合率等）が含まれているがAIPL2に該当しない場合。（試験運用中に漸次性能向上を行う運用が許される場合）
AIPL0：
性能意表が開発基準で特製されず、性能指標を発見することが開発目的となる場合など。（PoCの段階で終了する開発を行う場合など）

③公平性

【概要】
システムが人種/性別などを公平に扱う必要性の強さに応じて要求レベルを設定。本ガイドラインでは、システムあるいは機械学習要素レベルで規定された機能要件を基準に、機械学習要素が判断材料にすべきもの以外の要因により、入力に対して異なる取り扱いをしないこと、と定義づけている。

例えば、採用にあたって候補者をスコアリングするようなサービスを作るとして、同じ才能の人が男女の違いだけでスコアが変動しないような品質を求められる。

【AIFL(AI Fairness Level)の設定目安】
AIFL2：
法令・規則・社会的なガイドラインなどにより、一定の公平な取り扱いを行うことがあらかじめ要求・強く想定されている場合。当該サービスがパーソナルデータを扱い、その出力が個人の権利などに直接影響を及ぼす場合。
AIFL1：
当該サービスが偏りを持たないことについて明確な要件が特定できる場合。
当該サービスが内包する機械学習要素の出力が公平であることを説明できないことが、社会的需要性などに影響する場合・運用の障害になる場合。
AIFL0：
当該サービスに対する公平性の要求が存在しない場合。
当該サービスが潜在的に不公平・不均一だったとしても、性能とのトレードオフなどの観点から積極的に使用を認められるケース。

リンク

[1],[2]https://www.cpsec.aist.go.jp/achievements/aiqm/AIQM-Guideline-1.0.1.pdf
[3]https://www.mhlw.go.jp/bunya/roudoukijun/anzeneisei14/dl/120501_1_02.pdf

採用情報

ESTYLEは、「コウキシンが世界をカクシンする」という理念のもと、企業のDXを推進中です。経験・知識を問わず、さまざまな強みを持ったエンジニアが活躍しています。

「未経験文系からデータサイエンティストへ」

弊社では、スキルや経験よりも「データを使ってクライアントに貢献したい」「データ分析から社会を良くしていきたい」という、ご自身がお持ちのビジョンを重視しています。

ご応募・問い合わせはこちら。