ヘッドロックしないVRサウンド

VRのサウンドで、残響を表現したい時に少し工夫する必要があるのでは？
という話。

ヘッドロックとは？

VRで３Dofとか6Dofとかあるのですが、立体音響のサウンドでもおこります。

ヘッドロックというのは、頭に完全にへばりついてくるような状況を指します。
ヘッドフォンからの音が、耳に到達するまでの経路を正しく計算していたとしても、その空間が自分の頭の動きと連動（追従？）した場合は、それはおかしなことになります。

リアルなステレオ画像が目の前に広がっていても、ユーザーの頭の動きに合わせて、見える角度が変わらないと、単に目の前に立体画像がへばりついている感覚になります。（立体視写真や動画など）

トラッキングが外れて、世界が、自分と一緒に動いてしまう。これは、映像であれば、すごく不自然で、強力に脳が拒絶します。（何を見ているのか理解できない、未知の現象。　あのプラネタリウムとかで全球が回転するとか、頭を誰かに（自分の意思とは無関係に）無理やりふりまわされているような感覚・・・絶叫マシンとかかな・・・　かなりやばい）

おそらく、絶叫マシンなどは、極端な角度の変化はかからないようにデザインされていると思います。
そういう気づかいをしないと、とたんに刃物のようなコンテンツになりかねない。　（スリルを求める場合もあるので、適宜かもですが）

VRだと頭を動かせる

立体写真やバイノーラル録音などすごくリアルですが、そのまま一般化しないのは、その特殊な条件（頭を動かさない（ヘッドロック）で鑑賞する）というのがあるかもしれません。

これ、VRだと頭動かせるので、立体とか、３D音響とかの表現が広がるはずなのでは・・・　と思いませんか？

サウンドで起こるヘッドロック

ステレオミックスした音楽をヘッドフォンで流すと、その空間ごと頭と一緒に動いていきます。

これ、実はすごく不自然なはずなのですが、世の中の人はヘッドフォン視聴に慣れてしまっているのか、大丈夫なようです。

もともと、固定のスピーカーとヘッドフォンという少しぼかした再生環境用にチューニングが行われている。再生環境が固定されていない分、少し立体感はぼかしておくことで、回避していると思われます。

VRでも立体感を薄めにしておいたり、そもそもステレオミックスの音楽であれば、ヘッドロックでも問題ない。のですが、もう少し踏み込んで立体配置の音楽の体験とかしてみたいと思いませんか？　
（リアルにスピーカーをたくさん配置するみたいな贅沢な環境がなくても、VRならいけそうな気がする・・・）

VR（立体音響）ではどうか？

VRだと、ぼかす表現も一つの手なのですが、
より３Dの位置感を強く出そうとすればするほど、不自然になってしまいます。（以前の記事の点音源とか参照）

３D音源として、配置した音は、その位置から鳴るけれど、
広がりをもたせるための残響はヘッドロックということが起こりえます。

残響成分のエフェクトは、
もともと固定配置のスピーカー向けに作られていて、VRのように首の動きに合わせて、残響の位置も変化させるという仕組みは、まだ見たことがありません。

反射音まで、適切に配置して、それらの音用のトラックを用意して・・・とかもとてつもなく手間がかかりそうです。（ライトマップをベイクするみたいな感じなのか・・・）

Ambisonicsは一つの答え

Ambisonicsマイクとかで、収録した音を、Ambisonics環境で再生することで、ヘッドロックではない、自然な音響空間が得られます。

Ambisonicsには次数があって、これが低いと、角度方向の解像度が荒くなります。

Ambisonicsの次数が高くなれば、これも一つの解決策だと思うのですが、まだ、現状では、高スペックな再生環境を誰もが享受できるわけではないようで、音楽として使うには、スペックが足りないようです。（次数上げつつ複数同時とか計算負荷がかかりすぎてしまう、扱うチャンネル数が膨大になるなど課題もある）

疑似的にヘッドロックを回避する

世の中にはヘッドロックなステレオリバーブしか用意されていない。

でもVRで、綺麗な残響をつけたいですよね？

アルトデウスBCを作っていて、思いました。

A 正しい空間残響
B 変化あり残響
C ヘッドロック残響

Aが一番美しいとは思うのですが、ルームシミュレーターやアコースティックオーディオなど、もはや計算量やデータ量が膨大になりすぎて、もう少し技術革新が進まないとまだ手に入れることができないようです。

ので、Bを目指してみます。

角度に応じて変化を加える

サウンドミドルウェアのADX2では、リスナーと音源の角度に応じた変化をつけることができます。これにより、音源側の変化を加えることで、残響にも少しだけ変化を与えることができます。

例えば、見上げた時だけ別の音に差し替える、とか。
ただ、ですべての音素材を角度ごとに用意するのは非常に手間がかかり、現実的ではないです。

その位置に残っている残響感を付与してみる

仮説として、音がいっしょに回ってくる感が、違和感なのではと思い、では、VRの注視点が変わるのと同様に、残響も若干変化すると良いのでは？

- 左右のエフェクトを別系統に分離して、左よりの残響、右よりの残響として扱う。

モノラルリバーブをDualにしたような構成（という言い方であっているか自信ないですが・・・）

とするだけでも、たとえば、右よりの点音源から発する音の残響が右側に重みがつくようになり、首を動かした時に、点音源が左に移動した場合に、残響も合わせて変化します。

これも、厳密には、音源の大きさ、空間の広さ、形状など、限定された条件でないと不自然になってしまうのですが、
C ヘッドロック残響　よりは 
B 変化あり残響　といったところ。

（なお、残響処理って、結構計算負荷をとられるので、ちょっと前のハードではこれほど多用はできなかった。今でも無尽蔵に使えるわけではない）

おそらく、ヘッドロック感をなくすことが、まず重要なのかもしれません。