見出し画像

次世代競馬予想支援AI・ダビメト AIスコア0.5以上と0.55以上の評価(精度、適合率、再現率、F値について)

AIを評価する指標は色々とありますが、今回は何故私はAIスコア複勝0.5とAIスコア複勝0.55以上に分類し、AIスコア複勝0.55以上を予想としてアップし、集計を取っているのか説明します。※以下複勝を省略します。
※以下なるべく解り易くするために、表現は厳密にはAIの性能評価とは違っている点もありますが、競馬の予想に例えて説明します。

AIスコアとは0以上1以下の数値で表していますが、AIで言う「しきい値」をそれぞれ0.5、0.55とした場合、精度は0.5が0.821で、0.55が0.817と0.5の方が精度としては高いのですが、AIの評価として精度とは、競馬予想に例えると、0.5以上は3着以内に入ると予想して実際に3着以内入った場合も、0.5未満は3着以内に入らないと予想して、実際に3着以内に入れなかった場合も含めての評価となります。

一方適合率は0.5が0.671、0.55が0.714と明らかに0.55の方が上回っています。適合率とは競馬予想に例えると0.55以上は3着以内に入ると予想して、実際にに3着以内に入った場合の評価となります。
この違いは判りますか?

競馬の予想の運用に利用した場合は、該当馬の消しも含めた総合的な予想ならば精度が活きてきますが、単純に3着以内に入る馬を予想したい場合は適合率が向いていることが判ると思います。

もう一つAIの評価の一つとして再現率があります。これは実際に3着以内に入った馬を、AIはしきい値以上でどのぐらい予想していたかという評価です。
これはAIスコア0.5が0.335、0.55が0.258となっていますので、0.55がよりレースを絞って、より確実な馬を選んでいるので適合率が高くなっていることが判ると思います。※厳密に言うと選んでいるので無いのですが?

適合率と再現率の関係はトレードオフで、適合率が高くなれば、再現率は下がっていきます。※また逆もあります。

適合率と再現率の調和平均をとってF値として性能評価をしますが、AIスコア0.5の方が高いのですが(0.5が0.447、0.55が0.379)ここまで来ると文系の私には理解不能で、しいて言うならば0.5の方が再現率が高いので、意外と拾う馬券の絶対数は多いということなのかもしれません。
プロ野球に例えると、怪我が多くて休みながら年間90試合ぐらい出場して打率が3割の打者よりも、怪我無く年間134試合出場して打率2割7分ぐらいの打者の方が評価が高いみたいなものかもしれません?

私はフル出場の2割7分の打者よりも、出場機会は少ないが確実に3割を叩き出す打者を選んでいるのかもしれません?

※上記は最新データ(2019~2022 9/11まで)で再トレーニングしたモデルによる評価です。

以上



AIスコアを参考にして馬券が的中しましたらほんの少しだけサポートして頂けるとやる気が湧いてきます。趣味とは言え家族を犠牲にして莫大な時間を費やしております?