【☆12改良版】④客観的データに基づくbeatmania IIDXの難易度表案
こんにちは。
今回は、以前の記事で紹介したbeatmania IIDXの☆12難易度表を更に改善するために、色々と検討してみようと思います。
その過程で、難易度を決定するために使用している回帰分析の評価手法を簡単に紹介します。
クリア力指標の検討
これまで譜面難易度を推定するために、各プレイヤーのクリア力を指標化してきましたが、その際には全てのクリアランプが同時に対象となっていました。
ですが、各クリアランプにおける難易度を推定するだけなら、各クリアランプを個別に対象として、クリア力を指標化しても良さそうです。
前者をoCPI（overall Clear-Power-Indicator）、後者をcCPI（categorical CPI）と呼ぶことにして、思い付く長所を見てみます。
oCPIの長所
・全てのクリアランプで共通なので、異なるクリアランプの譜面難易度を比較できる
cCPIの長所
・一部のクリアランプを使わないプレイスタイルであっても、他のクリアランプは影響を受けないため、難易度推定が良くなる譜面がある（かも）
クリアランプごとの難易度表を作るという目的であれば、cCPIを使用したほうがメリットを享受できそうな気がします。
ということで、cCPIを使用すると難易度予測精度が向上するという仮説について、真偽のほどを調べていこうと思います。
予測精度の評価指標
突然ですが、「正確であると感じられる難易度表」とはどのようなものでしょうか？
様々な意見があると思いますが、一つの考え方として「表記難易度が高くなるほどクリアできない譜面の割合が増える（逆も然り）」という方向性があると思います。
そこで今回は、「予測精度が高い」ということを、「クリアランプ達成／未達成に正確に分類できている」と考えることにします。
このような目的で予測モデルを評価するにあたって、古くからよく使われる指標にAUROC（Area Under Receiver Operating Characteristic）というものがあります。
AUROCについては、以前に私が寄稿した記事で詳細を説明しています。興味のある方はお買い求めください（隙あらば宣伝）。
また、Web上にもわかりやすい解説がたくさんあります。
細かいことを抜きにすると、AUROCは（通常）0.5～1の値を取り、1に近いほど分類性能が高いということになります。
一般的な目安として、0.7でまあまあ、0.8を超えたらかなり良い、0.9を超えたらめちゃくちゃ良い、という感じです。
ちなみにAUROCは、今回だと「（クリアランプ）達成者全員と未達成者全員からランダムに1人ずつ選んだとき、前者のほうがCPIが高い確率」と一致します。
だから0.5だとランダムと変わりない最悪なモデル、1だとパーフェクトに分類できている最高なモデルと言えるわけですね。
というわけで、以前のモデル（oCPI）と新しいモデル（cCPI）とをAUROCを用いて比較し、新しいモデルで分類性能が向上しているかどうかを確かめようと思います。
AUROCによる新旧モデルの比較
各クリアランプについて、以前のモデル（oCPI）と新しいモデル（cCPI）のAUROCを平均してまとめました。
また、譜面ごとのプレイ人数による影響を調整したものも求めています（例：AUROC = 0.9 かつ プレイ率 90%のとき、調整AUROC = 0.81）。
ご覧のとおり全ての難易度において、新モデルの方が平均AUROCが高くなっていました。
特にフルコンで差が大きく、フルコンランプが特殊な存在であることが伺えます。
（ちなみに、学習データのみから算出したAUROCは、外部データに対して予測を行った場合のそれと比べて過大評価されてしまいます。今回はそのバイアスを、Bootstrap補正法という手法で調整しています。
ざっくり説明すると、オリジナルデータの1/n（今回はn = 500）を重複を許してサンプリングしてAUROCを求める作業をn回行い、その平均値を用いてバイアスを補正する、という方法です。）
次に各難易度について、新モデルになって性能が上がった譜面ベスト3と、逆に性能が上がっていない譜面ワースト3を表にまとめました。
難易度が極端に高い／低い譜面やレジェンダリア譜面について性能が上がっていることは、特定のランプ埋めを優先して狙っているプレイヤーが一定数いることを反映していると考えられます。
反対に、特段ランプに固執しなくても地力が上がれば対応できるようなタイプの譜面については、全てのランプを総合的に反映する旧モデルでもそれなりに性能を発揮する、ということでしょうか。
難易度表v0.3
出来上がった難易度表がこちらです。
分割版をTwitterの方に上げるので必要に応じてご利用ください。
いかがでしょうか。ご意見・ご感想はTwitter（@rice_Place）にお寄せください。
それでは、良き音ゲーライフを。
P.S. CPIサイトについては、世間の情勢にあわせて更新を再開して行きたいと思います。
この記事が気に入ったらサポートをしてみませんか？