ゲームの音が"0.1秒"遅れる事がプレイ体験に与える影響は？
ゲームの映像や音がズレている？
そもそも気にする人が少なさそうな話題ですが、実は普段みなさんが体験している映像や音は作り手が意図していないズレ方をしている事が多くあります。
原因は様々で、液晶の描画遅延だったりBluetoothオーディオの再生遅延、ストリーミングサービスによるもの、映像の変換器、分配器、オーディオアンプなどによる遅延などなど…。
特にスマートフォンアプリゲームでは音が遅れる要素が多く顕著なため、今回の検証を進める事にしました。音だけが0.1秒くらい遅れること、結構あるんです。
ゲーム体験におけるタイミングのズレとは
ユーザーのアクションに対するリアクション（映像や音、触覚など）が適切なタイミングで行われないと違和感を覚えるものです。その違和感を感じる時間の長さには個人差があり、0.5秒ほど遅れても気にならない人もいれば、僅か0.05秒の遅れでも気持ち悪いと感じる人も居ます。
この20年ほどでデバイスが多様化した結果、様々な遅延問題と向き合う必要が生まれました。スマートフォンのタッチ入力やOSの都合などによる遅延も存在します。
0.1秒って言われてもピンとこないけど？
先日、0.1秒を正しく認識（観察）してみよう主旨の動画と文章を公開したので体験してみていただければ。
実際にゲームの音が0.1秒遅れた場合はどんな感じ？
これも体験してもらうしかないので、音の再生タイミングをわざと遅らせて比較体験ができるスマートフォンアプリのミニゲーム集を紹介します。SonicSync Galleryという4つのミニゲームが入ったアプリです。
iOSはこちら
Androidはこちら
今回はこの中で、Quick Slashという早打ち決闘勝負をモチーフにした早押しゲームで比較します。（Android端末における再生遅延の大きさは今回無視し、同一端末での遅れの大きさを変えての検証となります）
視覚と聴覚を用いた反射神経ゲームの場合
上記画像の左下にある4つのボタンで、映像に対して音がどのくらい遅れて聞こえるかを調整します。絵と音が同時、0.05秒、0.1秒、0.2秒と設定ができるので設定を変えつつ遊んでみます。
音の遅れが無い（Go!の文字と同時に効果音が再生される）環境では、自分の場合平均0.22秒、最速値は0.20秒となりました。（iPhone8を用い、試行回数は20回程度）
続いて、音の再生が0.1秒遅れている場合の結果は、平均0.32秒、最速値は0.28秒となりました。
先ほどと比べて平均値が0.1秒伸び、最速値も0.08秒遅くなりました。音の遅れと共に順当に反応が遅れているように見えます。
さらに音を遅らせて、Go!の文字の表示から効果音が鳴るまで0.2秒の遅延がある場合は平均0.36秒、最速値は0.27秒となりました。
ここで興味深いのは、0.2秒の遅れに対し平均値は0.14秒でおさまり、最速値に関しては0.1秒の遅れの際よりも良い結果が出てしまいました。
もちろんこれには理由があって、音が0.1秒以上遅れている環境では音よりも視覚情報を頼りにゲームを遊んでいるからです。
0.2秒の例では反応が遅れるケースが増えて平均値は下がっているものの、視覚情報でしっかり反応できた時は0.1秒遅れの際と大差ない結果になりました。
ゲームによって影響の大きさが違う
テンポ感のあるシビアな入力が必要なゲームでは効果音が遅れて聞こえる事による難易度の上昇が著しく、単発入力の反応力のみが必要とされるゲームにおいては（心を無にして集中すれば）音の遅延が0.1秒と0.2秒による記録の差はあまり無いのではないでしょうか。
今回、リズムゲームを外している理由
音の遅れについて最も影響が大きそうなリズムゲームなのですが、反射神経ゲームと同様に各種設定での比較をしようとしたところ、僕自身がリズムゲームに慣れすぎていて音の遅延を増やしたところでほとんど差のない記録が出せてしまうため参考にならないと判断しました。
もちろん音が遅れている方が違和感も強いため難易度は高く、より集中力も要るのですが…もう少しPerfect判定幅が狭く、高難易度のものでないと参考になる結果にならなさそうなので試行錯誤する予定です。
記録が狙えるように慣れることは可能だけど…
どちらが心地の良い体験か？という点に関して言えば、間違いなくレスポンスが早い方が良いでしょう。
どのくらいの遅れまでなら違和感なく遊べるの？
個人的な感覚では0.05秒以内と思っていたところ、以下の記事にあるCRI・ミドルウェアの検証によると、グランドピアノの鍵盤を打鍵してから音が聞こえるまでが0.04〜0.06秒ということで、概ね間違っていなかったのではないかと思います。楽器経験者でも違和感なく遊べる閾値はこの辺りではないでしょうか。
まとめ
ある程度の反射神経が必要なゲームにおいて、映像に対し音が一定以上（個人差あり。筆者の場合約0.1秒）遅れている場合は視覚情報を主な判断基準として遊ぶ事になる。
記録は狙えるが、遅延がない場合に比べてより集中力が必要であり、操作の快適さ、気持ち良さという体験はそれなりに失われてしまう。
ユーザ操作に対する音の再生遅延が0.05秒程度に収まっていれば、グランドピアノの演奏時とほぼ同じ体験となり、普段から楽器演奏などでシビアな時間感覚を持つ人でも違和感を覚えることは少なくなる。
今後の予定
リズムゲームについて改めて検証したいので協力者を募りつつ試行錯誤してみます。
この記事が気に入ったらサポートをしてみませんか？