「まるでそこにいる感覚」の鍵は音声...？【#83】
今日のトピックは「Facebook Reality Labが発表した音響技術」について。
―――――――――――――――――――――――――――
こんにちは、こんばんは。
VR/ARの会社を設立した大学院生(@iwhododo)です。
VRは注目の高い領域だけに、日々大量のニュースを目にします。
そこで毎日１つだけVRに関連したトピックを取り上げてお届けしています。
※ちなみに選定基準は100%の独断と偏見に基づきます。
毎日更新しているので、ぜひフォローしてチェックしてください。
【 おねがい 】
現在、音声チャットやZenlyを積極的に使っているユーザーからヒアリングを実施しています。ご協力いただける方・ご興味のある方は、ぜひTwitterのDMや会社ホームページから、お気軽にご連絡ください。
FRL、音響技術に関する研究内容を公開
FacebookのVR/ARに関する研究部門「Facebook Reality Lab(FRL)」が、音響技術に関する研究内容を公開。「現実と区別のつかないほどのバーチャルサウンド」の実現を目指し、FacebookのARグラス開発とダイレクトに関係しているとも明かしています。
Ravish Mehra氏が率いるFRL Researchのオーディオチームでは、ARグラスを使ってノイズの多い環境でもよく音が聞こえるようにするために、オーディオの存在感と知覚の両方を可能にする新しい技術を研究開発しています。
ノイズにかき消されたり、距離によって劣化したり、聴覚の限界によって失われたりする現状のオーディオ体験を払拭する取り組みです。
2つのチームミッション
このチームのミッションは2つあります。１つは「現実と知覚的に区別がつかないバーチャルサウンドを創造すること」と、もう１つは「人間の聴覚を再定義すること」です。
そのために、チームは2つの新しい機能を提供することに重点を置いています。1つ目は「オーディオプレゼンス（現実の音源と区別がつかないほど高い再現度のバーチャルサウンド）」、2つ目は「知覚的なスーパーパワー（向かいに座っている人の音量を上げて、不要なバックグラウンドノイズの音量を下げることで、騒音の多い環境でも聞き取りやすくする技術的な進歩）」です。
オーディオ研究チームはHRTFを求めるいくつかの新しいアプローチを検討し、その一例として、耳の写真のような単純なものから、実用的なパーソナライズされたHRTFを近似するアルゴリズムを開発する挑戦も表明。
Head-Related Transfer Function(HRTF,頭部伝達関数) は、耳殻、人頭および肩までふくめた周辺物によって生じる音の変化を表現した伝達関数。音の反響や聞こえ方に影響をもたらします。
視覚的なARが同時定位とマッピング（SLAM）を使ってバーチャルオブジェクトの形状と照明を適切に調整するのと同じように、サウンドの面でも、バーチャル音源を現実の空間にシームレスに配置するためには、部屋の音響特性を理解する必要があります。
音響の技術はリアルタイムでアニメーション化された人物表現、全身トラッキング、「Facebook Horizon」のようなバーチャル空間などと組み合わせることで、真のソーシャルプレゼンスを実現することができます。人生で大切な人と有意義な場所で一緒に過ごせるようにすることで、私たちはあなたの生き方、働き方、遊び方を根本的に変えることができます。
ハードウェア・ARグラスとの連携
人間の聴覚を再定義するというのは、ARメガネを提供するFacebookの仕事にも直結しています。。メガネに複数のマイクをつけて、周りの音を聞き取ることができるハードウェアと連携して、混雑したレストランやバーでも最も聞き手が興味を持っている音にフォーカスします。他の音をぼかすことができるので、大きな雑音の中でも、本当に聞きたい音がはっきりと聞こえる設計を模索しているところです。
FRLでは他にもハードウェアとして非常に小型なVRグラスのプロトタイプを公開するなど、世界に先駆けてVR/ARに関する研究を多数発表するものです．今後ARグラスに関する発表も出てくるに違いありません．
関連記事：Facebookが、未来への直行便を爆速で造り上げている・・・【#23】
その他、FacebookのVRに関連する戦略予想は以下にまとめています．
関連記事：Oculus Goが販売終了、Facebookはその先に何を見ているのか｜今日の「ヤバい！VR」#17
World Maker Inc.について
World Maker Inc.ではAR・VRで新しい日常を探索していきます。
一緒に検証していただけるパートナーや開発メンバーを随時募集中です。
TwitterのDMや会社ホームページから、お気軽にご連絡ください。
特に現在Unityエンジニアor3Dモデラーを募集しています。学生も歓迎です
noteは毎日更新しています。昨日のトピックは「ARトイゲーム『マリオカート ライブ ホームサーキット』と遠隔操作のラジコンゲーム」について．
明日も更新予定です！ぜひフォローしてマイペースにご覧ください。
過去のnoteはこちらにまとめています。
出典：Tech@facebook.Inside Facebook Reality Labs Research: The future of audio
会社のみんなとドーナツ食べます。