AURO-3Dによる立体音響ライブ配信の現在地
数あるイマーシブ・オーディオ・フォーマットの中でも特に高音質なものとして知られ、業界内にもファンが多い「AURO-3D」ですが、2020年以降、これをライブ配信でも利用しようという機運が高まっています。
今回は、過去にAURO-3Dがライブ配信フォーマットとして活用された実例をご紹介するとともに、Live ExtremeにおけるAURO-3Dの最新の対応状況についてご紹介します。
WOWOWによる実証実験 ('20-'22)
世界初のAURO-3Dライブ配信は、2020年10月28日にWOWOWが行った実証実験でした。これは仲野真世さん（ピアノ）と馬場高望さん（パーカッション）が東京・ハクジュホールで行ったデュオライブをAURO 9.1 (48kHz/24bit) で生配信したもので、事前にモニター申し込みした数十名が視聴することができました。
この配信については、プロジェクトを推進したWOWOW入交英雄さん自ら「PROSOUND 2021年2月号」に寄稿されていますが、それによると、本配信は以下の点で後述のLive Extreme配信とは大きく異なっています。
外部Pro Toolsで動作するプラグインによって、AURO-3Dにエンコードしている
外部マスタークロックを利用して、映像・音響機器をGenlock / Word Syncさせている
AURO-3Dのエンコード遅延に対処するため、エンベッダ後段にビデオ遅延器を挿入してリップシンクを取っている
音声コーデックにMPEG-4 ALSを利用
MPEG-4エンコーダーの出力を広域イーサネットサービスでデータセンターまで伝送（データセンターでMPEG-DASHに変換して配信）
各家庭でのプレイヤーに「VLC media player」（Windows, Mac）を指定
尚、WOWOWは2022年1月にも同様のライブ配信実験を行なっていますが、その時は専用の再生アプリケーション「ωプレイヤー(β版)」（Mac, iOS）がテスト参加者に配布されました。このアプリには、2個のスピーカーから3Dオーディオ空間をバーチャル再生する「Auro-Scene」機能や、ヘッドフォンから3Dオーディオ再生する「Auro-HeadPhones」機能も搭載されていたため、マルチスピーカーがなくてもAURO-3Dを体験することができました。
Live Extremeを利用したライブ配信
私は以前から、その音質はもちろんのこと、Live Extremeとの親和性の高さという視点でAURO-3Dに興味を持っていました。昨年のブログで解説した通り、AURO-3Dは通常のサラウンド音声の中にハイト・スピーカーの信号を隠蔽する仕組みとなっています。とすると、旧来のLive Extremeのインフラ（マルチチャンネルFLAC対応配信エンコーダー、配信プラットフォーム、ウェブブラウザ・ベースのプレイヤー）をそのまま利用して、すぐに対応できるのではないかと考えました。
結果はその通りで、2023年4月よりLive ExtremeでのAURO-3Dのオンデマンド配信を開始しましたが、実は追加の開発なしに対応できました。
ライブ配信についても、前述のWOWOWの事例同様、Pro ToolsでAURO-3Dにエンコードをするという手もありましたが、配信現場での運用のしやすさを考慮して、AURO-3DエンコーダーをLive Extreme Encoder v1.12に内蔵することにしました。これには以下のメリットがあります。
Live Extreme Encoderに入力したマルチチャンネル音声信号を外部プロセッサなしにAURO-3Dとしてライブ配信できる
同一のマスタークロックから映像・音響機器をGenlock / Word Syncする必要がない
AURO-3Dのエンコード遅延を外部ビデオ遅延器で補正する必要がない（Live Extreme Encoder内で自動調整される）
2024年5月現在、Live Extremeを使ったAURO-3Dのライブ配信は、下記の2回実績があります。
「N響第9チャリティーコンサート」配信実証実験('23)
2023年12月26日、NHKホールで行われた「N響第9チャリティーコンサート」を複数フォーマットで同時配信・比較視聴する非公開の実証実験が行われました。実験の主催者はNHKテクノロジーズで、視聴会場の一つであるNHKテクノロジーズ本社に多くの関係者やプレスが集いました。
当日配信されたフォーマットは、
8K映像 + MPEG-H 3D Audio (22.2ch) by NHK Techonologies
4K Dolby Vision映像 + Dolby Atmos (5.1.4ch) by NeSTREAM Live
4K映像 + AURO-3D (AURO 9.1) & HPL by Live Extreme
の3種類で、コルグはAURO-3Dを配信するために、リリースしたばかりのLive Extreme v1.12を投入しました。音声経路としては、音声中継車「T2」に搭載された「SSL System T」の96kHz 5.1.4chミックス音声をMADIで受け、Live Extreme Encoder内でAURO 9.1 (96kHz)、AURO 9.1 (48kHz)、HPL (48Khz)に同時エンコードして配信しました。
視聴会場では、MacBookのChromeブラウザで受信・再生し、HDMIでAURO-3Dデコーダー搭載のAVアンプ（Marantz CINEMA 50）に出力しました。
画質や音質については、ご来場者の皆様に大変好評をいただきましたが、実はこの日、大きな問題が発生していました。NHKホールで利用できる回線が一般的なインターネット回線で他との共用、かつIPv4(*)だったため、時間帯によってサーバーへのアップロード速度が大きく低下してしまい、結果的にアップロードが間に合わずデータ落ちが発生することが数回あったのです。
(*) 従来型のIPv4接続の場合、すでに利用者が大変多いため混雑しやすく、通信速度が遅くなりがちです。 最近普及してきているIPv6接続は、IPv4よりも大量のデータを送受信できるため、通信速度・安定性に優れています。
この手の問題は、IPv6対応の高速回線を用意したり、フレッツ網内IPv6折り返し通信方式などを利用することで、ほぼ確実に防ぐことが可能ですが、状況により回線を選択できないことは多々あります。今回の経験を活かして、後述のLive Extreme Encoder v1.13では、回線速度の変動に対する耐性を大幅に強化しています。
「世紀を継ぐ 奇跡の競演」inオルゴール博物館「ホール・オブ・ホールズ」('24)
2024年2月28日、コルグはWOWOWとシンタックスジャパンの協力のもと、一般向けとしては世界初となる96kHz AURO-3Dによるインターネット・ライブ配信イベントを実施しました。これは、山梨県清里にある「萌木の村 オルゴール博物館 ホール・オブ・ホールズ」で演奏された自動演奏楽器とマリンバのセッションをAURO 9.1 (96kHz/24bit) でライブ配信するもので、日本向けとアメリカ向けの二度にわたって実施されました。
清里ではメイン13chを含む26個のマイクで収音されました。この信号はDANTE (96kHz/24bit) に変換されたのち、広域イーサネットサービスを通じて、辰巳にあるWOWOWの放送センターにリアルタイムで伝送されました。ここで12chにイマーシブ・ミックスされた信号が清里に戻され、現地で撮影・スイッチングされた映像とともにLive Extreme Encoderに入力。FHD映像＋AURO-3D音声を含むMPEG-DASHにリアルタイムでエンコードされた上で、配信サーバーにアップロードされました。
配信プラットフォームとしては、前年に提携した「Artist Connection」を初めて利用しました。他の提携プラットフォームやコルグの契約サーバー（AWS）から配信することも可能でしたが、Artist Connectionを利用することで以下のメリットがありました。
マルチスピーカー環境がなくても、Aritst Connectionアプリ（iOS, Android）内蔵のAuro-Headphonesによってバイノーラル再生が可能
Nvidia Shield TV（STB）用のArtist Connectionアプリが利用可能（PCと比較して、AURO-3DのHDMI出力が容易）
米国での権利処理が容易（日本のJASRAC, Nextoneに加え、米国の著作権管理団体 BMI, SESAC, ASCAPの管理楽曲の処理が可能）
本イベントは、日米それぞれ100名限定ではあったものの、事前にLive Extremeの公式サイトからお申し込みいただいた一般の方がライブ視聴することができました。また、東京とロサンゼルスに、プレス向けのライブビューイング会場も設置されましたが、ここではNvidia Shield TVを用いて再生し、大変好評を得ることができました。
ロサンゼルスのビューイング会場「Glen Glenn Sound」（右）
Live Extreme Encoder v1.13の新機能
2024年5月に、Live Extreme Encoder v1.13がリリースされました。このバージョンでは、AURO-3Dライブ配信を更に推し進めるために、以下の機能が追加されています。
トップスピーカーを含むAURO-3Dフォーマットに対応
Live Extreme Encoderは、前バージョンよりAURO 9.1 (5.1 + 4H) とAURO 11.1 (7.1 + 4H) のライブ・エンコードに対応していました（最高96kHz/24bit）。
Live Extreme Encoder v1.13では、上記に加え、AURO-3D特有のトップスピーカー（通称 "Voice of God"）を含むAURO 10.1 (5.1+4H+1T)、AURO 11.1 (5.1 + 5H + 1T)、AURO 13.1 (7.1 + 5H + 1T) のライブ・エンコードにも対応しました（最高48kHz/24bit）。併せて、Live Extreme Encoder内蔵のHPLバイノーラル・プロセッサでも、これらのスピーカー・レイアウトをエンコードできるようになっています。
一般家庭でトップスピーカーを設置していることは稀だと思いますが、「"Voice of God"こそがAURO-3Dの魅力」という方もおり、映画館などでのライブ・ビューイング用途でポテンシャルがありそうです。また、AVアンプ内蔵のAURO-3Dデコーダーは、部屋のスピーカー配置に応じてダウンコンバートする機能も搭載されていますので、この音源をトップスピーカーのない環境で視聴しても問題なくお愉しみいただけます。
ネットワーク・バッファサイズの拡張
Live Extreme Encoderには以前からデータ・アップロード用に大きなバッファが搭載されており、前述の「N響第9チャリティーコンサート」配信でも上限に近い30秒のバッファを設定していました。それでもデータ落ちが発生するような回線では、より大きなバッファを確保する必要があります。
配信エンコーダーのバッファサイズの拡張は、単純そうに見えて実はそうでもありません。バッファ内にアップロードすべきデータが溜まってモタモタしている間に、視聴者側の再生位置が追いついてしまう可能性があるからです。即ち配信エンコーダーのバッファサイズを拡張するには、受信側の再生位置（遅延時間）を適切に制御する必要があります。
MPEG-DASHには、配信側から受信側の再生遅延時間を制御する仕組み（suggested presentation delay）がありますが、Live Extreme標準の「Shaka Player」で対応できる上限は30-40秒程度ということが分かっています。またHLSには、これに相当する仕組みそのものが用意されておらず、実際の再生遅延は30秒程度になっています。
従来のLive Extreme Encoderのバッファサイズの上限（30秒）はこれをふまえたものでしたが、Live Extreme Encoder v1.13では、マニフェスト・ファイルの更新タイミングを意図的に遅らせることで、視聴者側の再生遅延時間を大幅に拡張することができるようになりました。これにより再生遅延時間を最大5分まで設定できるようになり、配信側でのデータ落ちのリスクを飛躍的に軽減することができるようになりました。
まとめ
Live Extreme Encoderは今後も立体音響配信機能を強化していく予定ですが、AURO-3DについてはLive Extreme Encoder v1.13で、機能面でも運用のしやすさでも完成形となり、今後ますます配信が増えていくのではないかと期待しています。
尚、今回ご紹介した配信実例のうち、2024年2月にライブ配信した「世紀を継ぐ 奇跡の競演」については、WOWOWによる再編集版を近日、Live Extremeの公式サイト、およびArtist ConnectionのKORGスタジオでオンデマンド配信する予定です。ライブ配信をご覧になれなかった方も、この機会にぜひご体験ください。