「AIの精度」をコロナ検査キットのニュースから考えてみる
※新型コロナウイルスに関する情報提供ではありませんのでご留意を
さて、本日このようなニュースを目にしました。
素晴らしいですよね。3月4日に「1時間で新型コロナウイルス検査が可能なキットを月内に提供する」と発表して、少しは遅れたもののきちんと実用化まで持っていっています。本当に凄いと思います。
各所で「すげー」となっているのですが、下記のような記述もあります。
陽性一致率・陰性一致率はいずれも１００％！
これはどういうことなのでしょうか。「この検査キットの精度が100％」ということなのでしょうか。そもそも精度って何でしょうか。ということで考えてみましょう。
自分の仕事(AI/機械学習)のお話
自分は今仕事で機械学習を扱っています。広く言うと「AI」というやつです。その適用範囲で多いものの1つが、「生産物のOK/NGチェック」です。色んな生産物があります。食品もあれば、家電や自動車の部品などもあります。それらを工場で生産をしているとNG品(不良品)が出てしまうわけですが、その検査を現在人の目でやっているところも少なくないので、「AIに置換したい」というニーズが存在するわけです。その時に「AIでどの程度の確からしさを求めるのか」という話になります。
皆さんだったらどのように答えますか？「100％検出して欲しいです！」と言うでしょうか。100％検出できるとなんか良さそうですよね。精度100％ですもんね。ここで下表を見てください。
このAIの精度は何%でしょうか。不良品を不良品、正常品を正常品と当てられている確率のことを指すのであれば、(95+4)/100=99%ですかね。高い精度ですね。しかしながら、1つ問題があります。そうです、不良品が正常品と判断されているのです。生産ラインであれば「AIが不良品と判断したものを再度人間がチェックする」というような、AIだけでなく"Human in the loop"の体制を想定していることが多く、この場合は「不良品の見逃し」はなるべくして欲しくないわけです。現場で「使い物」になるためにはもう少し別の観点からもこのAIを検証する必要がありそうです。
・正確度(Accuracy)
・再現率(Recall)
・適合率(Precision)
・特異度(Specificity)
この4つがあります。それぞれについての詳細の説明はググっていただくとして、概要をお伝えすると。。。
・正確度(Accuracy)は、上記で計算した通りで、
(不良品を不良品と判断した数 + 正常品を正常品と判断した数) / 全体の数で計算できます。99%です。
・再現率(Recall)は、「不良品を見逃さない」割合で、
不良品を不良品と判断した数 / (不良品を不良品と判断した数 + 不良品を正常品と判断した数)となり、4/(4+1)=80%となります。
・適合率(Precision)は、「不良品と判断したものが不良品である」割合で、
不良品を不良品と判断した数 / (不良品を不良品と判断した数 + 正常品を不良品と判断した数)となり、4/(4+0)=100%となります。
・特異度(Specificity)は、「正常品を不良品と判断しない」割合で、
正常品を正常品と判断した数 / (正常品を不良品と判断した数 + 正常品を正常品と判断した数)となり、95/(0+95)=100%となります。
「いっぱい100％ありますね！良さそうですね！」となりますか？先ほども言ったように生産品だったら「不良品を見逃される」と困りますよね。その指標は再現率(Recall)で80%です！じゃあ100%にしましょう。1つの方法として、「全部不良品と判断するAIを導入する」があります。そうすると下表のようになります。
再現率(Recall)は見事に100%になりましたが、これだと何の意味もないですね。正確度(Accuracy)は5%、適合率(Precision)も5%、特異度(Specificity)は0ですね。ちょっと極端な例でしたが、基本的にはトレードオフの関係にあります。
よって、解く問題によってどの指標を重要視するべきなのかを把握することが大事です。
検査キットの場合
さて冒頭で取り上げた新型コロナウイルスの検査キットではどの指標が大事でしょうか。たとえば、下2つの検査キットだとどちらが良いでしょうか。
これも先ほどの生産品と同じで「新型コロナウイルスにかかっているのに陰性と出てしまう」のが一番不味いですよね。そのまま外出して他の人に移す可能性がありますから。つまり、下の方が検査キットとしては良いのではないかと考えられるわけです。
テレビのニュースでこんな感じのことが話されているのを聞いた記憶はありませんか。「PCR検査した結果の偽陽性、偽陰性と判定される人もいるようです」これがまさに今まで話してきたことで、下のようになります。
再現率(Recall)や適合率(Precision)よりもわかりやすいかもしれませんので、こちらで覚える方が良いかもしれませんね。
ちなみに、先ほどの島津製作所さんが出した検査キットの
陽性一致率・陰性一致率はいずれも１００％！
という表記については、正確度(Accuracy)、再現率(Recall)、適合率(Precision)、特異度(Specificity)全てが100%ということではなく、「PCR検査と同じ結果ですよ」ということらしいです。要は同じ結果をPCR検査のように時間をかけずにできることから、プレスリリースにもあるように「検査の省力化」「検出時間の短縮」「検査コストの低減」が見込めるということです。改めてですが、この短期間で本当に凄いと思います。
おしまい
仕事柄「100%の精度で予測/検出したいです！！！」と言われることが多く、そんな中100%の記事を目にしたので、自分の頭の中の整理も込めて書きました。ニュースを見てざっと書いたので、間違っているところあればご指摘いただけると嬉しいです。
また、ご理解いただいていると思いますが、島津製作所さんのニュースについて批判等をするつもりは全くなく、違う解釈する人がいるかもしれないと思って書いただけで、本当に凄いことをなされていると強く思いました。自分も0歳児が家にいるので、日々感染に怯えながら暮らしているのですが、こういった素晴らしい貢献や一人一人の行動が積み重なって一刻も早く事態が収まると良いなぁと思っています。
Stay Home!!!
▼Twitter▼ Follow me!
この記事が気に入ったらサポートをしてみませんか？