ゲームの"検証"と厳密性

体験談

 もう数ヶ月前になるだろうか。「グランツーリスモ7(GT7)において、コックピットビューの設定を変えると車両の挙動に影響がある」という趣旨の動画がYouTubeに投稿された。コメント欄では恐らく実際に試したであろうユーザーから懐疑的なコメントが多数寄せられていたが、投稿者は「かなり走り込まないとわからない」という趣旨の主張を繰り返していた。
 当方も気になったし、落ちこぼれとはいえ理系大学生の端くれではあるから曖昧ナ表現ガアレバ行ッテ確カメテヤリたくなるので、やった。それが以下に示す動画だ。

終了画面を除けば3分程の動画なので各自で確認して欲しいが、結論を述べれば「違いは誤差の範疇でしかなく、有意に性能が向上する事はない」だ。確かにレースゲーム/レースシムが勝敗の基準として到達時間を採用している以上、たとえ1フレームでも速いに越したことはないが、今回の主題及び実験において"平均値での1フレーム差"に意味がある(=有意な差である)とは思えない。
 勿論、格闘ゲームにおいてはフレーム単位の攻防が勝敗を分けることはよく見聞きするが、それらは技の隙間にこちらから技を食らわせる事を考えると起点がプレイヤーの入力である上、入力される値はボタンを押す/押さないの2値、複数のボタンを同時に押す技でも理論上521(=9+2^9、ボタン8個+スティック8方向orスティック中立)通りである。一方、レースゲームではカウント開始がプレイヤーの入力ではない上、アクセル、ブレーキ、クラッチそれぞれの分解能を8bitとしても2^24通りある。これだけの自由度であればストッピングパワーで1フレーム分だけ速くしたところで、少なくとも生身の人間がプレイしている以上はブレーキ開始の目標地点と実際のブレーキ開始地点とのずれやその他の操作で相殺されてしまうのではなかろうか。

一般化

  無論ゲームの検証について偽情報を流布したところで誰かの生命が脅かされる可能性は低いし、詐欺罪と器物損壊罪で訴えられる覚悟の準備もする必要は無いだろう。しかし、それを免罪符に偽情報を流していいのだろうか。いや、よくない(反語)。偽情報に踊らされればその分のプレイ時間が無駄になるし、実際のパフォーマンス面での不利益を被る可能性もある。
  ではその情報が正しかったとして、その"検証"はあなたの攻略法を疑う勢力を退けるのに十分だろうか?その攻略法が有効であることを示すというのはつまり、①プレイヤーによる入力のばらつき以上の差が生まれ ②それがタイミングやプレイヤーなどの条件によらず発生する  の2点、即ち有意性と再現性を示す必要がある。そしてこの2つを旨とするのが科学の分野である。となれば自身が見つけ出したゲームの攻略法を不特定多数に公開し、あまつさえタイトルに"検証"と入れるときは科学的主題に則って行うべきではなかろうか。
  尤も、無理して前段で挙げた動画のように実験結果の検定にχ^2値やらp値やらを持ち出せとは言わない。いや、可能なら議論に組み込んで欲しいが。しかし余程再現性の高いものでない限りは定量的に結果を表現できる試行を十分な数(10～15回程度でよいだろう)行い、その平均値を比較するくらいは最低でも行うべきではなかろうか。さらに公開する際にはその試験方法は全て開示するべきだろう。あなたの"検証"を見た人がその情報のみによって同じ検証を行い、その結果を確かめられるレベルには。その程度で揺らぐ説ならばそもそもの効果自体怪しいし、そうでないならその検定はあなたの味方になるだろう。

おわりに

  おおよそすべての量は数字で表せるし、適切に統計処理された数字、即ちデータはそれを扱う人間によるバイアスのない、いわば真理に近い事象を示す。しかし十分な検定を行わなかったりデータを歪曲して解釈すれば真理とはほど遠い誤った結論を導いてしまう。そんな誤情報に踊らされた挙げ句コンクリートの缶詰を有り難がったり"解毒剤"と称して二酸化塩素水を薦めるようになる前にエビデンスベースの考え方を発信側、受信側共に身につけるべきではなかろうか。