FIBAワールドカップ2023予測ふりかえり
結論
過去数年の得失点のみに基づく予測手法は公式ランキングや専門家の予測よりも予測性能が高かった．
競技を問わず似た傾向がある．
提案手法に基づくと，今大会の番狂わせの回数は予測の範囲であった．
本文
FIBAワールドカップ，盛り上がりましたね．ドイツが初優勝を飾りました．
さて私は開幕直前に予測を公開していました．
この予測の答え合わせです．
公式ランキング，パワーランキングとの比較
全92試合に対し，予測正解数を算出しました．予測は「提案レーティングが高いほうが勝利する」です．予測はFIBA公式ランキング，および公式サイト発表のパワーランキングと比較しました．
これらのランキングでの予測は「ランキング上位が勝利する」です．
予測正解数は，提案/公式/パワーそれぞれで66/57/62で提案手法が最良でした．提案と公式で予測が異なっていたのは17試合，そのうち提案は13試合，公式が4試合の試合結果を正しく予測しました．この差は偶然とは言えない程度に大きく(統計の言葉でいうと，「両方の予測正解率が等しいという帰無仮説に対するp値が0.0309であり，p<0.05と設定した場合に仮説が棄却される」です)，提案手法が公式ランキングよりも優れている証拠の一つです．提案とパワーランキングでは有意差は認められませんでした．
もう一つの評価として，最終順位とランキングを比較しました．3つの手法のランキングと実際の結果の差を集計したものが下図です．
横軸は3つの手法それぞれでの予測順位(〇，□，△がそれぞれ提案，FIBA，パワー)，縦軸が実際の順位です．国名よりも左の予測は「過小評価」，右の予測は「過大評価」です．
評価は実際の順位との相関係数としました．提案/公式/パワーそれぞれで0.81/0.64/0.78と，こちらも提案手法が結果と最も近い順位をつけていました．特に「ラトビアの5位」を予測できたのが提案手法の快心だったと思います．
FIBA公式ランキングはしばらく前に試合単位の算出(それまでは大会の順位に
基づく算出)に変更されたので予測性能は上がっているはずなのですが，予測性能を下げる要因として以下を指摘できます．
予測に算入される試合が8年と長いこと，
時間の経過や大会の重要度に対する重みがあまり適切でなさそうなこと
そして，専門家の見解を含んだパワーランキングは公式ランキングよりも予測性能を上げていますが，それでも提案手法の方が上回っています．特筆すべきは，提案手法では予測に対象とした試合の得失点しか利用していない点です．私は予測算出のために1400を超える試合の結果を収集しましたが，そのほぼすべてを見ていません．過去の他競技・他大会の予測でも同じ結論だったのですが，
人間は定量的な評価が得意ではない
競技の専門家といえども，1400を超える試合の勝敗をすべて考慮して実力評価をしているわけではない．
結果の予測に最も必要な情報は過去の結果(のみ)である
ということが今大会でも確認できました．スポーツ予測に対するある種の真理に近いのだと考えています．
提案手法の予測評価詳細，およびこれに基づく大会総括
ということで，提案手法の予測が良かった，という前提でその評価です．
2次ラウンド/17位-32位順位決定戦までに全チーム5試合を行いました．横軸にそれぞれの予測勝率の和を，縦軸に実際の勝利数を取った散布図です．太い赤鎖線は予測と実際が一致する線，赤点線は0.5勝ごとをわかりやすくしたものです．左上のチームは「予測よりも成功した」，逆に右下のチームは「予測よりも不成功だった」チームです．成功したチームにドイツやリトアニアに交じって日本が挙げられます．予測勝利数約1.6に対し実勝利数が3と大躍進でした．特にフィンランド戦は予測勝率約20％からの大きな番狂わせでした．逆にアジア1位を争うライバルだった中国は良い組み合わせを活かせず，地元開催のフィリピンはホームアドバンテージを活かせず1勝にとどまりました．優勝候補のフランスは最終的に3勝できたものの，不成功に分類できます．
とはいえ，フランスの敗退は不運な部分も大きいです．
フランスは全体1位の評価でしたが，同グループにかなり上位評価のラトビア，カナダが入っていました．ラトビアはワールドカップ予選の最終ラウンドで9勝1敗，同組にはセルビアとギリシャを含んでおり，大躍進でした．ただし，ランキング制度の設計が原因でこの快挙はランキングに迅速には反映されませんでした．
フランスとラトビア，カナダ両国との実力差は勝率が65％程度なので盤石とはいえず，連敗する確率も10％と無視できない値です．実際フランスはその10％に入ってしまいました．組み分けが異なればどうなっていたのか…と思います．
今大会，番狂わせが大会前に予想されたよりも多かったのかどうかを調べてみます．
横軸に予測勝率，縦軸に得点差とした散布図です．1試合に対し両チームから見た点を表示しています(ので，92x2=184個点があります)．青と赤は予測正解と不正解，緑は日本の試合です．日本の勝利は大会2番目の番狂わせであったことがわかります．最大の番狂わせはベネズエラ対カーボベルデでカーボベルデの勝利でした(予測勝率約16％)．
予測で上位だったチームの予測勝率の合計と，実際の勝利数を比較すると番狂わせの多さがわかります．予測勝率の合計は67.4勝，実際は66勝だったので，若干ではありますが上位チームを過大評価していたことになります．ただし，小さな差なので，統計的な有意差は確認できません(95％信頼区間は59勝から74勝)．
予測勝率ごとにヒストグラムにしてみます．
横軸に上位チームの予測勝率，縦軸に頻度(上図)および階級ごとの割合(下図)を示しました．予測勝率が0.65を超えるとほぼ予測通りの番狂わせ数でしたが，特に上位評価チームが若干有利(予測勝率が0.55から0.65)な対戦で番狂わせが起こっていたことがわかります．上位チームのチーム作りに課題があったのか，下位チームが周到な準備で番狂わせを起こしたのか…の詳細は，これこそ現地を取材している専門家の評論にお任せするべき部分だと思います．
この記事が気に入ったらサポートをしてみませんか？