「回収率予報」の実績（2020年9月6日まで）

回収率予報は2019年11月から、土曜と日曜の前日に公開しています。
現時点までの実績と、過去データによる予測ロジックのシミュレーション結果についてまとめます。

１．公開開始からの実績

公開開始（2019年11月10日）から2020年9月6日までの約10ヶ月間の回収率予報のデータを集計します。
その間に予測ロジックは2回バージョンアップをしているのですが、まとめて合計しています。

予測回収率90～50%については概ね想定通りの結果です。

問題は予測回収率100%ですが、回収率約90%に留まっています。
一般的な競馬予想であれば、単勝馬券のこれだけの予想件数で90%を達成していれば良い方だと思いますが、回収率予報としては想定通りにならず不満です。

100%のグループは他よりデータ件数が少ないため誤差が生じている可能性があります。
ですので、このまま予報を続けて更に件数が増えれば100%に近づいていくと考えているのですが、もっと少ない件数で安定した結果が欲しいところです。

そこで、予測ロジックを1から再点検し、安定性を重視して再構築したのが8月14日にリリースした新バージョンです。

２．最新予測ロジックでのシミュレーション結果

2020年8月14日リリースの予測ロジックを使い、2017～2019年のデータでシミュレーションした結果です。
（9月7日の予測ロジック微調整を反映済み）

予想回収率が100%となった馬は全体の約7.0%（1レース平均約1.0頭）で、勝率は9.1%です。

旧バージョンと比較すると、予測回収率100%の件数は減っていますが、低オッズの割合が増えて勝率が上がります。
また、1日あたりの1着の件数が若干増えています。

予想回収率100%と50%では、勝率が2倍ではなく、約10倍になっていますが、これは単勝オッズが高い馬は予測回収率が低く出る傾向があるためです。
ただし、単勝オッズが2倍以下で予測回収率50%の馬や、単勝オッズが100倍以上で予測回収率100%となる馬もいます。

予想回収率が50～60%となった馬が全体の約29%ですが、これらの回収率は平均よりかなり低いので、予想からは除外したほうが良いことが分かります。

また、2020年1月1日から9月6日までのデータでもシミュレーションしました。

予測回収率50%の当たりが比較的多かったため、回収率が上振れしていますが、ほぼ想定通りと言って良いと思います。
前バージョンの実績では今ひとつだった予測回収率100%のグループもちゃんと100%出ています。

新バージョンは、100%グループの勝率が上がったことと、予測ロジックの作成時に100%の下振れが起きないように細心の注意を払っていますので、私自身、好結果をかなり期待しています。

３．参考（オーバーフィッティング）

予測ロジックは2004～2016年の13年間のデータを集計、分析して構築しています。
そのデータを使用してシミュレーションした結果がこちらです。

ご覧の通り素晴らしい結果となっています。
これが現実ならスキップしながら回転しないお寿司屋さんにでも行くのですが、そう甘くはありません。

これはオーバーフィッティング（過剰適合）という現象が起きていて、本来よりも過剰に良い結果となってしまっています。
過去データを分析して作成した予測ロジックは、そのデータが持っている歪みやくせも含んでしまうため、新しいデータを当てはめると、想定通りの結果がでないのです。
過去データのシミュレーションではうまくいくのに、本番では全然ダメという、お約束のパターンはこれが大きな原因です。

私はこの問題に対処するために、予測ロジック構築に使うデータ（2003～2016年）とその検証に使うデータ（2017～2019年）を分けているのです。
また、オーバーフィッティングをできるだけ減らすように様々な工夫をしています。
オーバーフィッティング対策をしないで予測ロジックを構築していた頃は、回収率150%を超えた結果になっていましたが、本番では思った結果がでませんでした。
わざとやれば予測回収率200%でも300%でも簡単に作れてしまいます。

他の方のデータ予想を拝見すると、このオーバーフィッティングが起きているであろうシミュレーションを掲載しているケースが見受けられます。
そのような予想を利用する際にはよく検討することをオススメします。

このオーバーフィッティング問題については改めて別の記事でまとめたいと思います。

Wikipedia：過剰適合（オーバーフィッティング）
https://ja.wikipedia.org/wiki/%E9%81%8E%E5%89%B0%E9%81%A9%E5%90%88