より正確なレーティングを算出するために

レーティングを比べたものの…

これまで、イロレーティング (Elo Rating System) と グリコレーティング (Glicko Rating System) の2種類のレーティングの計算方法を学び、それぞれ、得点差とホームアドバンテージを考慮したバージョンを作って、計４種類を比較してきました。

いったい、これらの中のどれがより正確なレーティングなのでしょうか？

それぞれのパラメータ（変動係数Kや、レーティング偏差、得点差の組み込み方など）も微調整できますので、組み合わせを考えたら、何百、何千種類ものレーティングを算出できますが、それらの中でどれが本来の実力を反映したレーティングなのでしょうか？

レーティングとは何なのか？

あらためて最初に立ち戻って、レーティングとは何なのかを考えてみます。
ここでは、イロレーティングとその改良版であるグリコレーティングについてです。

イロレーティングは、平均的強さのプレイヤーと対戦したときに予想される勝利勝率を数学的に推計し、対数に変換した指標である。実際には、試合のたびに対戦前の相互のレーティングに基づいて勝利確率（期待勝率）を計算し、これと実際の対戦結果との差異に基づいてレーティングを更新する。この作業を試合のたびに繰り返すことで、いずれ平均的強さのプレイヤーと対戦したときの真の勝利確率、すなわち強さを表す適正な値にレーティングが収束するというわけである。

Wikipedia「イロレーティング」より

サッカーに例えると、レーティングとは、
チームAとチームBが対戦したとき、チームの実力が未来永劫変わらないものと仮定して、何千、何万回と対戦した場合、ある勝率に落ち着いた時の、その勝率を別の数値に置き換えたものと言えます。

２チームのレーティングの差がわかれば、予想される勝率がわかりますし、逆に何千、何万回と対戦して勝率がわかれば、２チームのレーティングの差がわかります。

その計算式とグラフが以下になります。

期待勝率の計算式

レーティングの差と期待勝率

期待勝率と実際の勝率を比較する

そこでレーティングが正しいかどうかを検証するためには、求めたレーティングを基に算出した期待勝率と、実際の勝率を比較して、より近い方が正しくレーティングが算出できていると判定できるのではないかと考えました。

幸いにも、Jリーグができてから30年間、20000以上の試合が行われてきました。これらの試合結果を使って、レーティングの正確性を確認することができるのではないでしょうか。

具体的には、
まず、すべての試合直前のレーティングを求め、対戦する2チームのレーティングの差を調べます。
次に、同じくらいにレーティングの差がついている試合の勝敗を集計します。
最後に、集計した実際の勝率を、さきほどの計算式で求めた期待勝率（理論値）と比べます。
差が少なければ少ないほど、より正確なレーティングを算出できていると判定できます。

レーティングの差と勝敗率

上のグラフは1993～1998年までのJリーグのリーグ戦の試合結果を使い、試合前のホームチーム側から見たレーティングの差と、ホームチームの勝敗率を棒グラフにしたものに、理論上の勝率（期待勝率）を重ねたものです。

レーティングの算出には、オリジナルのイロレーティングを使用しました。また、期待勝率の計算では、各区間の中間値を使い（1～50の場合は25）、ホームアドバンテージ（+28）を考慮してあります。

グラフを見ると、多少のデコボコはありますが、確かに期待勝率に沿うように勝率も推移しているのがわかります。

理想的には、上の赤い破線に赤の棒グラフが、できるだけ重なればいいわけです。
しかし、レーティングの係数を操作して、上のようなグラフをたくさん作ってみたところで、期待勝率の破線にどれだけ近いのか、を比較するにはどうすればいいのでしょうか？