「オーディオ版レイトレーシング」と「物理シミュレーションによる音響空間表現」
「レイトレーシング」は 3D グラフィックスの重要な技術となっていて、レイトレーシングを使ったリアリティの高いグラフィックス表現を見る機会が増えてきました。
また同時に、「レイトレーシングをオーディオに応用する」といった言及もちょいちょい見かけるようになりました。
しかし、グラフィックスのシミュレーションにレイトレーシングが有効なのは光の特性をレイトレーシングで近似できているからであり、音の特性に関してはレイトレーシングだけで近似するのは困難です。これはもう少し広く知られていて欲しい事実なのですが、何故かあまりきちんと知られていません……。
そもそも悲しいことに、「物理シミュレーションによる音響空間表現(方角、残響、遮蔽などの表現)」を網羅的に真面目に考察した資料は恐ろしく少ないです。この現状では、レイトレーシングだけで音響空間表現が簡単に出来るというような誤解が生まれてしまうのも仕方ないことなのかもしれません。
そんな背景から、あえてそこを掘り下げた本稿を書くことにしました！
「物理シミュレーション」という話ではありますが、数式などは省いて感覚的に理解できる大雑把な挙動解説を中心にまとめていますので、お気楽に目を通してみてください。音響空間表現の奥深さや未来に向けた可能性が良い形で伝われば嬉しいです！
1. 「音響空間表現」のシミュレーション
「音響空間表現」は音の空間表現のことで、筆者はこの言い回しを使うことが多いのですが、それは下記のようなものを全て含む広い意味での空間表現を表すためです。
方角表現
「パンニング」「3D オーディオ」など
残響表現
「反射」「残響」など
遮蔽表現
「遮蔽」「回折」「透過」「固体伝搬」など
距離表現
「距離減衰」「距離遅延」「ドップラー効果」など
その他様々な空間表現
「屈折」「共鳴」「干渉」など
これらは別々に扱われることも多いのですが、「音源から発生した音波が耳に届くまでに生じる現象」という意味で共通の現象で、それぞれの相互関係も複雑です。「本気の物理シミュレーションをする」というコンセプト上では、これらを同時に扱うことが求められます。
次章からは、「音響空間表現」の物理シミュレーションの特徴的な箇所を、一項目ずつ例を交えながら紹介していきたいと思います！その中で、グラフィックスとの違いやレイトレーシングによるシミュレーションの可能性についても触れていきます。
2. 「回折」のシミュレーション
「回折」は波動の性質のひとつで、おそらく「音響空間表現」をシミュレーションするにあたって、グラフィックスとの差が最も大きい性質になると思います。最初からクライマックス！
2-1. 「回折」について
まず、1 つ例をだします。
これは音源とリスナーとの間に障害物がある例になります。この時、障害物に隠れた音源からの音(声)が聴こえることが実体験と照らし合わせると分かると思います。
(実体験上では周りにも別の障害物などがあり、後に紹介する「反射」の影響もあるケースが多いですが、図のように反射の影響が無い状況でもちゃんと聴こえます)
この時、聴こえる音の伝達経路は点線のように直線ではなく、実線のように曲がった経路で伝わることになります。このように、障害物の裏側に音が回り込む現象を「回折」と呼びます。
2-2. 波長と「回折」
光にも回折現象がありますが、先程の図の音源位置に光源があったとしても、壁の縁から光が漏れ出て見えたりはあまりしないです。
この挙動の違いを決める大きな条件が「波長」です。光も音も同じ波動現象として捉えることができますが、その「波長」には大きな違いがあります。可視光線の波長は 380nm～780nm 程度と非常に短いですが、それと比較すると音の可聴域 (20Hz～20kHz 程度) の波長は 1.7cm〜17m 程度と長く、幅も広いです。
音の周波数と波長の関係 (速度を 340m/s とした場合)
(可視光線は 1oct 程度なのに、可聴域は 10oct 程度もあるんですね。)
「回折」は複雑な現象ではありますが、大まかな傾向として「遮蔽物を回り込むための距離」や「遮蔽物の隙間を抜ける場合の隙間の幅」などの遮蔽物のスケール感と「波長」を比較すると分かりやすいです。
遮蔽物のスケール感より波長が十分に長い場合は回折は顕著に起こります。
遮蔽物のスケール感より波長が十分に短い場合は回折の影響は少なくなります。
遮蔽物のスケール感と波長が同程度の場合は程々に回折が起こります。
図の例に戻ってみます。この例では遮蔽物のスケール感は1〜数mと考えられると思います。人の声の基音は 100～200Hz 周辺で波長は 2～3m 程あるため回折によってそれなりに聴こえるのですが、一方人の声は歯擦音(さしすせそ)を含めると 5kHz 以上の音も出ており、こちらは波長が 7cm 以下と短く回折の影響が少なめで大きく減衰します。
(図は、低周波数帯が回折しやすいのに対して高周波数帯が回折しにくいイメージを表していますが、物理現象としての正確性にはやや欠ける表現です。)
近似的な遮蔽表現の多くは Low-Pass Filter を使用しますが、これは低周波数帯は回折によってよく聴こえ、高周波数帯は回折の影響が少なく大きく減衰することになるので、この差を表現しているわけです。
2-3. 耳の「回折」
また、耳に音が聴こえるとき、少なくとも片方の耳は大きく回折の影響下にあることも忘れてはいけません。耳や頭の遮蔽物のスケール感は 1〜30cm 程度なので、例えば 5kHz 以上 (波長 7cm 程度) ともなると耳穴からみて正面 (顔の真横) と比べて耳穴の真横 (顔の正面か背面) から聴こえる音は割としっかり減衰して聴こえることになります。
「3Dオーディオ」には、この耳や頭での「回折」を再現することも含まれています。
簡単な実験コーナーその 1！
指の腹同士を擦って音を出してみよう！
この音は 5kHz 以上とかなり高周波数帯の音が中心になっています。
これを、「耳穴の正面」「耳穴の真横」で聴いた時の音量差はどうなっているでしょうか？
2-4. 「回折」のシミュレーション方法
可聴域の大部分が、「回折」によってちょっとした障害物を乗り越えると考えると、レイトレーシングだけでのオーディオのシミュレーションは難しいと言わざるを得ません。
レイトレーシングでも方法によっては「回折」を扱うことはあるようですが、「回折が起こるポイントをレイが通るとき分岐するか、乱数で角度を変える」といったような方法で、ある程度回折が起こるポイントが限られている場合でないと精度が出ません。
例えば 170Hz の波長は 2m 程ですが、波長 2m ともなると人間が普通に暮らす室内では多くの場所で大きな回折が起こるような状態になり、レイトレーシングの精度を上げるのは非常に難しいです。
実際そういった波長の長い波動に関しては、「FDTD法」などの波動としてのシミュレーションをする方法が取られることが多いと思います。
しかし、FDTD法はリアルタイムに実行するには処理負荷が高く、逆に波長の短い波動のシミュレーション精度を上げるのが困難です。処理負荷を気にしないとすれば、レイトレーシングとFDTD法の併用などが考えられますが、本稿ではあまり踏み込まないでおきます。
既にこの章だけで「オーディオの物理シミュレーションは思ったより難しいのでは？」と思ってくれる人も多いかもしれませんしそうでもないかもしれませんが、他の性質についても見ていきます！
3. 「反射」のシミュレーション
続いて「反射」です。「反射」も波動の性質のひとつで、「残響」も性質としてはここに含まれます。
3-1. 「反射」について
「反射」は「回折」よりは挙動の想像が付きやすいと思います。音源から発生した音が壁などに当たると図のように反射して、反射音として聴こえます。
複数回反射した音は「残響」として、条件によっては長い時間響く音となります。図には 2 回反射までの一部の経路を頑張って(笑)示しましたが、実際にはもっとたくさんの反射経路が存在します。
「反射」した音は全て「間接音」として捉えられるイメージがあると思いますが、実態はもっと複雑なので後々で解説していきます。
3-2. 反射率と反射音の到達時間
「反射」に関して光と音の差が大きいところで、まずは「反射率」と「反射音の到達時間」があります。
光に対してはその辺にある多くのものがそれほど高い「反射率」を持っておらず大きく乱反射することが多いため、一部表面がつるつるしたものに関して数回の「反射」を考慮したレイトレーシングをすることによって、ある程度リアリティのある絵作りが可能になっているといえます。
対して、音はその辺にある多くのものが高い「反射率」を持ち、高次の反射音が「残響」として聴感に大きな影響を与えることも珍しくないです。
また、光は超高速なため一瞬の出来事を切り取ってレイトレーシングによる色決定ができますが、比較すると音は低速なので反射音の「到達時間」を気にする必要が出てきます。
直接音から遅れて反射音が聴こえることは、シミュレーションに必要な精度にも影響します。直接音にマスキングされず反射音だけが聴こえる時間ができるため、シミュレーションの精度が低いと目立ってしまいます。
3-3. 材質と「反射」
「反射率」に関してですが、まずは壁の「材質」によって変わってきます。例えば、鉄や大理石の壁など硬くつるつるした材質は反射率が高く、布などの柔らかい材質は反射率が低くなります。
また、「反射率」というのは 1 つの数字で表されるものではなく、周波数帯 (波長) によって異なる反応を示します。例えば細かい凹凸の多い「材質」は低周波数帯に比べ、高周波数帯の反射率が落ちるといったような現象が起こります。
更に、「材質」といっても実際には表面の「材質」だけでは「反射率」は決まりません。例えば、ベニヤの壁の奥が空洞の場合とコンクリートが打ち込んである場合とでは、後者のほうが反射率は高くなります。
壁に重さがあったり、他の重いものに強力に固定されていたりすると振動が伝わりにくくなり、その分反射率が増すことになります。
3-4. 地形と「反射」
「回折」がそうであったように、「反射」も「遮蔽物のスケール感」と「波長」に依存した挙動の違いを示します。そのため、低周波数帯の「反射」をシミュレーションする際には、「材質」の影響だけでなく「地形」の影響も多いことも考慮する必要があります。
またしても大まかな傾向の話ではありますが、「回折」とはちょうど逆に、遮蔽物のスケール感より波長が十分に長い場合には「反射」はさほど起こらず、遮蔽物のスケール感より波長が十分に短い場合に顕著に「反射」が起こります。
小さめの壁に対して、高周波数帯はよく「反射」して聴こえる一方、低周波数帯は大きく「回折」して壁の奥に音が抜けてしまい、「反射」が小さくなるイメージを図示しました。
簡単な実験コーナーその 2！
声を出しながら顔の前に小さめの板状のもの (手でも可) を持ってきて、耳に反射する音を聴いてみよう！
「あーーー」と声を出す場合と「しーーー」と出す場合で違いはあるでしょうか！？
3-5. 「反射」と「回折」
一度「反射」した音は、その後複数回「反射」するだけではなく、更に「回折」の影響も受けて耳に届きます。
頭や耳での回折に関してもそうで、反射音は直接音とは異なる方角からリスナーに届くため、特性変化が異なります。正確な「3D オーディオ」の実現においてはこのあたりにも気をつける必要が出てきます。
もちろん逆に「回折」した音も更に「反射」します。(図はリスナーと音源を入れ替えただけです、笑)
この組み合わせを考えると、考慮しなければならない経路が無数に存在することになります……。
3-6. 「反射」のシミュレーション方法
「回折」の時と同様に、「反射」について考える際も高周波数帯はレイトレーシングでもある程度表現できることになりますが、可聴域の大部分を占める低周波数帯に対しては難しいということが言えると思います。
更に、「反射」のシミュレーションは「材質」などの情報の存在が前提で、「壁の中の見えない場所に何があるのか？」「物体同士の接続部の固定方法は？」などの絵作りの上では普通制作しない情報が必要になってくるという意味でも難しいです。
一方で、ここまでの話であればFDTD法などを使った時間をかけてのシミュレーションについてはまだ実現可能な範囲に感じます。実際に音響ホールの設計などではシミュレーションが実用的に行われています。
ですが、ゲームなどにおける表現のリアリティを追い求めるためのシミュレーションはここで終わりません……！まだまだいろいろな性質を見ていきます！
4.「減衰」のシミュレーション
「減衰」は距離などによって起こる基本的な性質と捉えられていますが、しっかり考えていくと「回折」や「反射」などと切り離すことが難しく、後ろめの紹介になりました。
4-1. 「減衰」について
音源とリスナーの距離が離れていくと音は「減衰」します。「減衰」というと空気抵抗のようなものを想像してしまうかもしれませんが、最も大きい「減衰」の要因は拡散です。
図の通り点音源から発生した音は三次元的に全方位に拡散するため、音源から出たエネルギーを球面の表面積で割る形で減衰が求まります。よく言われる距離の 2 乗に反比例するというのはここから来ています。
この挙動に関しては光も同じで、点光源の明るさは距離の 2 乗に反比例します。ただし、太陽光に関しては光源の距離が文字通り天文学的に遠いため少しの距離差では減衰量が殆ど変化せず、減衰しない平行光源として近似されます。
拡散以外にも色々と「減衰」に関わる要因があるので、いくつか紹介していきます。
4-2. 空気吸収と「減衰」
「減衰」には「空気吸収」という要素があります。距離が離れるにつれ主に高周波数帯が減衰していく現象です。こちらはもうちょっと空気抵抗っぽいイメージですね(？)。
遠方の音に Low-Pass Filter を使用するのはよくある近似的な距離表現ですが、これは「空気吸収」の影響で距離が離れるほど高周波数帯が減衰することを再現していることになります。
この「空気吸収」は、温度や湿度などの条件によって度合いが大きく異なります。例として、夜間や雨天時では「空気吸収」の度合いが小さく、遠くまで音が届きやすいなどの現象が知られていたり知られていなかったりします。影響の仕方は結構複雑ですが、騒音の研究などでそれなりに言及が見つかります。
4-3. 地形と「減衰」
「減衰」は「地形」の影響も受けます。多くの場合に影響があるのが地表の影響です。
図のように直接音と地表での反射音は多少の時間差を伴ってリスナーに届きます。そのため「干渉」が起こり、強め合う周波数帯と弱め合う周波数帯が生まれます。いわゆるコムフィルターの効果です。
(コムフィルターの効果を「減衰」と表現するのは若干違和感があるかもしれませんが、弱め合う周波数帯は「正の減衰」、強め合う周波数帯は「負の減衰」として表現されます。)
また、位置関係や距離によって干渉の度合いや影響する周波数帯が変わり、動く音源に対してはコーラスエフェクターのような効果をもたらします。分かりやすい例は上空を飛ぶ航空機からのジェットサウンドでしょうか？
地表の素材、地表が平面でない場合、壁などでも同様な効果が発生することなどを考えるとまた複雑になってきますが、そこまで触れ始めると終わらなくなるのでこのあたりにします。
ところでこの場合は「反射」の影響で「干渉」が起こっての「減衰」ということになるのですが、反射音は「間接音」ではないのでしょうか？
4-4. 直接音と間接音
ここで割と重要なことなので、「直接音」「間接音」について掘り下げます。ちょっとややこしくなるので用語を (勝手に) 定義します。
定義的直接音 : 反射音を含まない音
定義的間接音 : 反射音のみ
感覚的直接音 : 人間が直接音として認識する音
感覚的間接音 : 人間が間接音として認識する音
何でこれを分ける必要があるのかといいますと、人間が「直接音」だと思っている「感覚的直接音」には多くの「定義的間接音」が含まれるからです。地表の 1 次反射のような、到達時間が「定義的直接音」とさほど変わらない「定義的間接音」は人間には「感覚的直接音」の一部として認識されているわけです。
「定義的直接音」に近い音は無響室で録音したものを聴くことで知ることができます。 (以前の note にも出てきましたが Youtube などで anechoic balloon とかで検索すると多分聴くことができます)
「減衰」のシミュレーションがややこしくなってしまうのは、ここにも起因します。サウンドデザインの殆どが「感覚的直接音」をターゲットにした調整が行なわれていると思うので、「定義的間接音」も「直接音」に含む前提でシミュレーションを行う必要があることになります。
(もちろん全てのサウンドデザインを「定義的直接音」で行う方法もあり得ますが、「定義的直接音」は日常的な馴染みがない場合が多く、これをターゲットにサウンドデザインするのは非常に困難です。また、反射音の再現に要求される正確性がもう一段階上がってしまいます。)
4-5. 屈折と「減衰」
「減衰」に影響を与える現象の話に戻って、次は「屈折」です。ここで触れる「屈折」は空気の層によって音速が異なることによって起こるものです。
昼の空気の温度は地表付近のほうが暖かく、夜の空気の温度は地表付近のほうが冷たくなるため、昼は「屈折」の影響で音が遠くまで届きにくく、夜は「屈折」の影響で音が遠くまで届きやすくなります。
また、風速の違いによっても音速の違いは生まれます。地表付近と上空の風速の違いによって「屈折」が起こることもあるようです。一様でない風が吹いている場合には複雑な「屈折」が起こり、減衰も複雑になりそうです。
4-6. 音源の大きさと「減衰」
これまでは音源を点音源とみなした場合の「減衰」を取り扱っていましたが、音源が点音源とみなせないほど大きい場合、減衰の仕方は複雑になります。
実際の例としては「音源自体が大きい」という場面はあまり存在せず、電車の音や川の音などの細かくいえば複数の音源であるものをひとまとまりで扱いたい場合にこの「音源の大きさ」という課題に遭遇することになります。
そういった背景であるために、複数の音源に対して計算された減衰量を 1 つのサウンドに適用できるようなシミュレーションを行うことが、大きさのある音源を扱う方法の 1 つになります。
もちろんこの考え方は、「減衰」だけでなく、「回折」や「反射」など、他の全ての音響空間表現シミュレーションにもいえることです。
4-7. 指向性と「減衰」
「減衰」では指向性を考慮する場合がありますが、そもそも「指向性」とはなんでしょうか？
図はメガホンによって音に「指向性」がついた例ですが、こうして見ると音の「指向性」が「回折」「反射」の影響抜きには語れないものであることがすぐに分かると思います。
指向性がある時の減衰は「回折」の影響を強く受ける形になります。高周波数帯は指向性の付いた音がそのまま真っすぐ聴こえますが、低周波数帯は「回折」によって拡散してしまいます。結果として、メガホンの正面付近では距離が離れるほど低周波数帯のほうがより強く「減衰」するという現象が起こります。
メガホンの例でしたが、人の声やスピーカーなども同じような仕組みで指向性が付いているため、同じことがいえます。
4-8. 「減衰」のシミュレーション方法
一見単純そうにみえる？「減衰」に関しても、シミュレーションのためには実に多くの情報が必要になってくることが分かると思います……。
「回折」や「反射」などとの関連性も複雑で、これらをレイトレーシングに組み込むことは、難しいとしか言いようがありません。
また、ここまで来ると、レイトレーシングに限らなくても真っ当なシミュレーションは難しくなってきます。
5. 「固体伝搬」のシミュレーション
今度は「固体伝搬」です。波動の性質のひとつとして「透過」が挙げられますが、実際に起こっているのは「固体伝搬」で、その近似として「透過」という考え方があるというような位置づけになっていると思います。
5-1. 「固体伝搬」について
例を見てみます。
壁越しに音が届くシンプルな例です。音源から発生した音が空気中から壁に伝わり、更に壁から再度空気中に伝わってリスナーに届きます。
5-2. 透過率と「固体伝搬」
「固体伝搬」の挙動に関しては光と音で大きな違いがあります。
まず、光はガラスなどの一部の透明度の高いものを除いて、多くのものを透過率 0 の不透明の物体として考えることができます。実際グラフィックレンダリングの高速化もこういったことを利用していると思います。
対して、音は多くの物体を透過率 0 と考えることができません。閉め切られた部屋の中に居たとしても外の大きな音は聴こえてきます。
また、音が聴こえてくる経路は「回折」も含めて考える必要があります。直線上にある物体の「固体伝搬」を考えればよいだけではなく、窓など透過率が高めの場所を「回折」を伴って通る経路を考慮する必要があります。
(「固体伝搬」からは逸れますが、ドアや窓のかなり小さな隙間からも「回折」で音が通ってしまうのでそのあたりも厄介？です。)
5-3. 「固体伝搬」と「透過」
光は固体内部を空気中より遅い速度で進みますが、音は固体内部を空気中よりずっと速く進みます。結果、固体内部での音の波長は更に長く、固体内部に入る時の屈折や内部での回折でとても直進性を保っているとは近似できません。
音は固体を突き抜けるわけではなく、一旦固体内部の振動へと変化してから再度空気の振動に戻るというステップを考慮する必要があります。下図のように室内から室外の音を聞く場合、音源から音が聴こえるというよりは壁全体から聴こえてくるような聴こえ方になることがあります。
壁との距離など状況によっては音源の反対側から音が聴こえてくるようなことも起こります。
また、固体に直接衝撃が加わって音が鳴るパターンもあります。この場合では空気から固体への移動が無い分音は大きく伝わりやすく、固体内部に一気に広がるため音源位置の把握が難しくなります。「上階の人の足音が聴こえるけど何処から聴こえてきているのかよく解らない」が典型的な例です。
単に「透過」という考え方だけでは「固体伝搬」がシミュレーションしきれないことが分かると思います。
5-4. 材質と「固体伝搬」
「反射」のように「固体伝搬」に関しても、表面や内部の材質、他の物体との接続関係によって挙動が変わってきます。
壁に重さがあったり他の物体に強く固定されていたりする場合は、固体内部に振動が伝わりにくくなります。(前述のようにその分「反射率」が高くなります。)
また、ウレタンのような吸音素材の場合、固体内部に振動は伝わるものの、内部で大きく熱に変換されてしまい、「透過」現象は弱くなります。
5-5. 「固体伝搬」のシミュレーション方法
「固体伝搬」を物理シミュレーションするにあたって感じることを端的に表すと「もはやどうしていいのかわからん」です！笑
レイトレーシングでシミュレーションするのはもちろん困難で……、FDTD法のような手法を壁内に拡張すればもしかするとなんとかなるのかも？しれませんが、「反射」よりも更に見えない場所の情報が重要になってきます。
(幸い回折音などに比べると小音量なことが多いので、正面からのシミュレーションは諦めるのが正解な気もしますが、本稿の趣旨から外れるので掘り下げません。)
6. その他様々なシミュレーション
前章までいろいろな挙動を見てきましたが、まだ拾い残している物理現象などがいくつかあるので、拾っていきます。
6-1. 「ドップラー効果」について
「ドップラー効果」は音源とリスナーとの距離が移動などによって変化する場合にピッチの上がり下がりが発生する現象です。
これも他の現象と切り離して考えられることが多いものですが、「反射」との関連性については注意したいところです。
図のように反射音のドップラー効果は直接音とは異なる変化になります。救急車などのサイレンをビル街で聴いたことがある人は、いろいろなピッチ変化が一度に聴こえることに覚えがあるかもしれません。
6-2. 「共鳴」について
「共鳴」は現実世界では割と起こり、大きな音がした場合に周囲の建物や木が鳴ったり、音楽スタジオでベースを鳴らした時にドラムが鳴ったりと、音が鳴ることによって別の物体が音源化する現象を生み出します。
これを直接シミュレーションに組み込むのはやはり非常に難しいです。「固体伝搬」の更に応用というような位置付けでしょうか？
6-3. 水中表現について
水中で音を聴くということは、特にゲームのシチュエーションではそれなりにあることです。
水中では音速がかなり速くなり、水面での「屈折」や、「空気吸収」ならぬ「水吸収(？)」など、別途考慮が必要なことが出てきます。
また、人が水に潜った状態を想定する場合、鼓膜付近で再度空気への伝達が起こることや、そういった形での減衰が大きいことで「骨伝導」の相対的影響が大きいことなども考慮する必要がありそうです。
7. 「オーディオ処理」とシミュレーション
最後に、ここまで見てきたシミュレーションの結果を「オーディオ処理」に落とし込むことの難しさについて触れます。
7-1. 音響空間表現のための「オーディオ処理」
レイトレーシングは画面上のピクセルの色を直接決める処理になりますが、よくあるオーディオへの応用ではサンプルの変位を直接決める処理にはできません。
物理シミュレーションの結果を使うためには、シミュレーション結果を受け取る「オーディオ処理」を別途制作する必要があります。
(理論上はオーディオ粒度で全座標全方向のシミュレーションを行えばそれ自体が「オーディオ処理」になります……本当に本気の物理シミュレーションと言えるのはそれを行う場合だけなのかもしれません……)
この「オーディオ処理」ですが、音響空間表現のリアリティを決定づけるとても重要な要素です。具体的には下記の役割があります。
粒度の粗さの吸収
シミュレーションしきれないニュアンスの再現
高忠実度で魅力的な音作り
「粒度の粗さの吸収」に関しては、「反射」を例に出すと分かりやすいです。「反射」のシミュレーションはフレーム毎などでいくつかのパスを発見して「ディレイ」エフェクトで表現しようとしますが、実際には微妙に違う長さの無数のパスが滑らかに時間変化しながら存在すると解釈しなければならず、はっきりとした「ディレイ」ではリアリティのある再現ができません。「微妙に長さが違う無数のディレイが滑らかに時間変化する」ように聴こえるオーディオ処理を制作する必要があります。
「シミュレーションしきれないニュアンスの再現」に関してです。今まで紹介してきた物理現象は、聴こえる音の音量や周波数特性だけを変化させるのではなく、アタックの強さなどの時間領域の変化や、速度の変化や歪みなどの非線形的な変化も引き起こします。これらを全てシミュレーションするのは難しいですが、それらの要素を「オーディオ処理」に上手く組み込むことで、よりリアリティのある表現にできることになります。
(時間領域の変化や非線形的な変化については本稿でもあまり触れることができていませんね……。すみません説明が難し過ぎます……。)
「高忠実度で魅力的な音作り」は、割と抜け落ちやすいですが非常に重要なことです。高忠実度はリアリティのとても重要な必要条件になり、音質を犠牲にする音響空間表現を導入するくらいなら何もしないほうがリアリティが保たれる場面も多いです。また、あくまで主体は「表現」であってシミュレーション自体ではないので、魅力的な音作りを目指すべきです。
このように、シミュレーション結果を受け取る「オーディオ処理」を制作する際には、とても多くのことを考慮する必要があります。
7-2. 「オーディオ処理」の単位
また、「オーディオ処理」を制作するにあたっては「どんな単位でオーディオ処理するのか？」に関しても意識しながら行う必要があります。
素朴に考えると、「音源とリスナーの関係性をシミュレーション」して「音源毎にオーディオ処理」ということになりがちですが、これは近似として必ずしも良い方法ではありません。
ひとつ例を出してみます。
こちらの例では、屋根で反射する高周波数帯の音が上からはっきりと聴こえます。低周波数帯は下から回折して聴こえるので 1 つの音源から 2 つの音が割とはっきり聴こえるということになります。
他にも、6-1 で触れた「反射音のドップラー効果」など、「音源毎にオーディオ処理」するだけでは現実の挙動の再現には足りないことが分かると思います。
おわりに
本記事は『「オーディオの完全なシミュレーションをした」はすべて詐欺です。』という出オチタイトルの記事を書こうとして、「まぁそんなわざわざ物議醸そうとする必要ないよな」と思い直して少し柔らかく(笑)した記事です。
とはいえ、現状に思うことがあるのは確かなので、ぜひ「音響空間表現」の完全な物理シミュレーションは非常に難しいという認識が広まって欲しいと考えています。なんとか色々端折って短くまとめたつもりでもこんな量になってしまいました……。
「音響空間表現」は想像以上に難しいわけですが、同時に想像以上に魅力に溢れています。魅力のほうは今後も「音」で伝えていけたら良いなと思っています！
波長の違いによって回折量や反射量が異なり、音が分離していく様はさながらプリズムのようです。オーディオの眼でこの世界を見たとするなら、辺り一面にプリズムの敷き詰められた非常に美しい景色が広がっているということになるでしょう。私はその様子をこう呼んでいます。
"Prismaton"