AIの精度評価って？！

※こちらの記事は、MENOU公式ユーザーフォーラムより転載しています。（一部編集しております）

検査をAIで置き換えると際、必ず聞かれるのが「精度」です。

「MENOU AI開発プラットフォームを導入したら精度はどうなるのか？」というご質問をよくいただきます。

その答えは、もちろん検査対象だけでなく、撮像状態（写真の質）、アノテーションの質（きちんと学習させられるか？）、AIモデルや画像処理の巧拙にもよるので一概には言えない. . . ということになってしまいます。
しかし、「精度」とは何かについてもう少し理解すれば、色々な不安は減るかもしれません。

コンフュージョン・マトリクス （混合行列）とは何か？

AIに限らず、正否判定を行う場合の「精度」にはコンフュージョン・マトリクスは避けて通れません。 例のPCR検査でも話題に上がっていますね。

検査が「正しい」ケースというのは下記のこの２つのケースです。

📍TP（True Positive） 
　本当に陽性であったものが検査も正しく陽性を検出できたことを指す
📍TN（True Negative）
　本当に陰性であったものが検査も正しく陰性であったものを指す

検査が「間違う」ケースは下記の２つのケースです。

✅FN（False Negative ）
　本当は陽性にも関わらず、陰性の結果が出てしまう
✅FP（False Positive）
　本当は陰性にも関わらず、陽性の結果が出てしまう

FNによる検査漏れを気にして、厳しめの検査を行っているとFPが多く、「Overkill （オーバーキル）」状態となってしまいますよね。これはAIに限らず、色々な検査工程で行われています。

MENOUのAI開発ツールの『MENOU-TE（メノート）』では、AI検査結果は以下のように表示されます。

「精度」を評価するうえでの問題点

MENOUのようなAI検査を導入するうえで、いつも問題になるのは何だと思いますか？
それは、「現在の精度が正しく分かっていない」ことです。

現行の工程における検査精度の現状を整理してみましょう。

① 検査のチェックがない場合
最終検査はもちろんのこと、ほとんどの検査は１度しか行われません。
そうなると、実際の検査漏れ数については判断がつきません。PoCや初期検証時点での精度データしかないのが実情だったりします。

② 検査チェックがある場合
最終検査であっても、抜き打ちでのサンプリング検査が行われることも珍しくありません。
そのようにして、最終検査を含めた品質管理体制をモニタリングすることは重要なことです。しかし、よっぽどシンプルな検査でないかぎり、チェック時の検査精度も曖昧なこともあります。
微妙な目視検査などは検査員によってもバラツキがあるので、結果の食い違いも発生します。そのため、どの検査員が正しいのかを「定義」したり、複数の検査員の平均を正とするなどの「定義」が大切になります。
前述した「真」の値というのも案外「真」ではないのかもしれません。

---

MENOU公式ユーザーフォーラムでは、「MENOU AI開発プラットフォーム」の機能紹介やFAQ、コラムなどを随時更新しておりますので、ぜひご覧ください👀

---

「MENOU AI開発プラットフォーム」で外観検査におけるお悩みを解決しませんか？

MENOU AI開発プラットフォーム は、AI開発プラットフォームのアプリケーションは直感的なUIとなっているため、マウス操作のみでプログラミングが不要となっており、AIに関する専門知識をお持ちでない方も、またエンジニアでない方も、どなたでも複雑な検査・検品をAI化することが可能です！

ぜひ外観検査の自動化をご検討されている方は、下記のフォームよりお問合せください😊

お問合せは▶こちら◀から📩