nuance（ヌュアンス）ワンマンのライブ配信はどうやってやったのか？ そして音声トラブルはなぜ起こった？
先月、2020年3月10日に、渋谷TSUTAYA O-EASTで開催された『nuance ONEMAN TOUR "OSU" TOUR FINAL「PEONY」』、昨今の情勢下のなかで開催についてはギリギリまで難しい判断を迫られ、最終的には一定の感染防止対策を取ることで実施されました。とはいえ、「行きたいけど、いろいろ考えると行けない」というファンも多く、直前になってライブ配信を行うことが決まり、お手伝いさせていただくことになりました。
配信に必要なカメラ映像を用意する
今回は、配信が決まった時点ではBlu-ray、DVD制作のために映像収録チームとして「七五三デーズ」さんが入られているということで、七五三デーズの水島さんの協力のもと、映像収録チームからも映像をいただきつつ、配信チームでもカメラを追加して、配信映像を作ることになりました。ライブ配信の場合、カメラの映像をケーブルないしワイヤレスの送信機で配信ブースまで伝送する必要がありますが、家庭のTVなどで使われるHDMIは長い距離の伝送に向かないため、こうした場面ではSDI（HD-SDI／3G-SDIなど）の規格の信号が通る同軸ケーブルや光ファイバが利用されることが一般的です。
今回は映像収録チームのカメラのうち、SDI端子を持つ舞台正面の手持ちカメラと、後方のPAブースに三脚に載せていたカメラの映像をいただくことにして、いずれもSDIケーブルで配信ブースまで引き回しました。
予算などにもよりますが、映像配信のための撮影では、カメラマンが自分が撮っている映像が配信に使われているかどうかわかるようなタリーランプだったり、配信映像をモニタできる液晶モニタ、ディレクターからの指示をもらうためのインカムを使うこともあるのですが、今回はそういうのはナシで、もともと予定していた画を撮ってもらって、それを配信側でよしなに使わせていただくかたちとしました。
今回、映像収録チームからいただく映像は、主にメンバーに寄った映像が中心なので、配信チームでは会場全景が入る「引き画」、メンバー4人の「グループショット（GS）」を中心に押さえることにして、固定のリモートカメラ含めて4台のカメラを用意しました。上のバルコニー席とメインフロアの下手側柱付近にリモートカメラ、配信ブースに2台のカメラを設置しました。
配信チームとはいっても、最初は私一人の「ワンオペ」の予定でいたのですが、グループショットを押さえるためにも人がカメラを振らないと難しく、急遽仕事仲間のアライユウキさんに入っていただきました。彼にお願いしたのは、彼自身もバンドをやっていて、音楽業界も長く、音楽モノの感覚がわかってくれているからです（私が地下アイドルにハマるきっかけをつくった張本人でもあります）。
引き画も重要
「引き画」が重要なのは、会場の雰囲気やフロアの熱量もわかり、その場にいない人に状況を説明するのに必要な画であるというのに加え、アイドルのライブステージではダンスのフォーメーションも極めて大切で、グループショットや引き画はすごく重要です。また、他に使えるカメラ映像がない、判断がつかないときに引き画に逃げればなんとかなるという、映像スイッチングするうえでの事情もあります。
とはいえ引き画も完全に固定だと、場面によっては引きすぎだったり、動きがなくて違和感があったりするため、無人のカメラも配信ブースからカメラ向きやズームをリモコンで制御できるようにして、スイッチングしながら、画角の調整や主に寄ったり引いたりなどの操作をしていました。リモートカメラの制御は自作の「MP-101無線リモコンキット」を利用しています。
今回、下手側から斜め方向にステージを見るカメラを配置したのは、上手側にあるサブステージとメインステージをまたがった演劇的な演出があったため、双方を押さえられる画が必要だったからというのと、ステージ上のメンバーとお客さんとの関係を示す目的もありました（その意味では、もうちょっとステージに近いところで横から撮るカメラもほしいところでしたが）。
今回のケースとは異なりますが、より大規模な会場でのライブの場合、演者の表情がわかるような映像を大きなLEDやプロジェクタで投影することが多いのですが、そうした映像だけで配信映像を作ろうとすると観ている人にとっては、全体の様子がわからずフラストレーションのあるものとなってしまいます。というのは、会場にいる人にとっては、会場全景は自分で見ることができるので、LEDに出す映像はどうしても寄った画が中心になるからです。そうした映像をいただいて配信映像を作る場合、配信チーム側で会場全景を押さえるためのカメラを用意したりしています。
主なカメラの映像
七五三デーズさん舞台ツラ手持ちカメラでは、メンバーに寄った画と引いたグループショットも。最前列から観ているイメージのダイナミックな映像となります。
七五三デーズさん後方カメラでも、主にメンバーに寄った画を中心に押さえていました。
配信チーム正面カメラは、アライユウキさんに撮影いただいて、主にグループショットを。リフトされるヲタクも含めたフロアの熱量も伝えるなにげに重要なカメラです。
配信チーム下手カメラはリモコンでの操作ですが、サブステージ含めた会場全景を押さえたり、リモコン操作で寄ったり引いたりした画をつくっていました。
配信チームの2階バルコニー席のカメラはリモコン操作で、ステージ全体を押さえるために利用していました。特に紗幕の場面では紗幕に投影されるメンバーのシルエットやバンドメンバーなどのクレジットを押さえるために、地味に重要なカメラです。
音はとても重要
そして、音楽モノに限らず、映像配信で実は一番重要なのは音声です（それにトラブルがあったのは面目ないのですが）。今回は、音響スタッフとして入っておられた大畑“gumi”修平さんチームから頂いた、最終的にPAのスピーカーから出す音（いわゆる「外音」というやつ）のための「ツーミックス（左右のステレオに、個々の楽器やマイクの音を振り分けてバランスを取ったもの）」をラインケーブルでいただきました。
もちろん、それだけでもある程度はよいのですが、ファンの歓声、俳優さんの走る足音やベルのようなPAを通さない音、会場の箱のサイズ感などを感じる音は作れません。そこで一般に「エアー」「アンビエンス」などと言われる環境音を録るために、会場に立てたマイクで集音した音も加えています。
この辺のバランスは難しくて、正直まだ模索しているところですが、個人的にはエアーだけでやりきるというのも実はアリなのではと思っています。というのは、音響さんは「外音」をつくることに注力していて、バンドであればステージ上のギターアンプやベースアンプ、ドラムセットからの生音と、メインスピーカーから出る音が混じったものをお客さんは聴いているわけで、箱の特性やお客さんの身体に音が吸収されることでの影響を含めて「外音」を調整しているからです。
音響さんからラインケーブルでいただいたツーミックスは、会場のメインスピーカーから実際に鳴ることで完成されるものですから、スピーカーから出る前の信号をそのまま使うというのは、実は正解ではないともいえます。
また、こうした配信での音作りで難しいのは、どんだけ遮音性の高いヘッドフォンでモニターしていても、大きな音量の外音の影響で、実際の配信音声だけを確認するのが難しいということです。リハで録音したものを、聴くことで確認することである程度調整はできるのですが、どうしても限界があります。
ある程度予算がかけられるケースであれば、PAから出る音とは別に、各楽器やボーカルの個別の信号と、会場のエアーの信号を中継車などの別室のミキサーでミックスして配信用の音を作るケースもありますが、そこまでできるケースは限られるでしょう。
今回のnuanceのワンマンライブでは、冒頭、演劇っぽいパートがあるのですが、今回は劇団鹿殺しのお二人の俳優さんにラベリアマイクがつけられていて、うっすらとPAからも音を出していたので、PAのツーミックスで賄いましたが、完全に生声の場合は、舞台ツラにバウンダリマイクなどを仕込むなどのことも検討しなければなりません。
素材を組み合わせて、配信映像・音声をつくる
さて、そんなこんなで配信に必要な、映像と音の素材があつまりました。それを元に配信用の映像・音声をつくるためには、一般的には以下のような機材が必要です。
* スイッチャー
* オーディオミキサー
スイッチャーは、複数のカメラ映像を切り替えたり、合成したりする装置です。オーディオミキサーは、複数の音声信号のレベルを調整して、左右に振り分けたり、音質を調整して、最終的な音声信号……たいていは左右のチャンネルに振り分けたステレオのツーミックスをつくるための装置です。
オーディオミキサーから出力される最終的な音の信号と、複数のカメラ映像をスイッチャーに入れて、スイッチャー上で最終的な画と音をつくります。スイッチャーによってはオーディオミキサーの機能を持っているものもあります。なお、映像信号の処理では、どうやっても一定時間の遅延が発生してしまうため、映像と音のタイミング（リップシンク）がずれてしまうこともあるため、オーディオミキサーかスイッチャーのどこかで音を遅らせる（ディレイ）処理が必要になるケースがほとんどです。
今回のシステムではMac上のソフトで音声処理も映像スイッチングも実施
今回はスイッチャーとしてMac上で動作するソフトウェアである「Wirecast」を使用しました（Windows版もあります）。映像信号の入出力には、Blackmagic Designの「DeckLink Duo 2」などのPCI Expressのビデオキャプチャカードを「Sonnet Echo Express SE III」に挿したものを、Thunderbolt 3でMacBook Pro(2016)につないだものを利用し、6入力1出力ができるようにしたシステムを利用しました（以下のWirecastのスクリーンショットは本番中のものではなくて再現画像です）。
ミキサーに相当する部分は、Zoom H6というオーディオレコーダをUSBでMacBook Proに接続して、マルチトラックのオーディオインターフェイスとして利用しました。入力されたオーディオ信号を、Audio Hijackで処理して、Loopbackというソフトウェア経由で、Wirecastに入力する形で処理しました。Loopbackは、強力なソフトウェアで、あるアプリの音声出力を他のアプリの入力として扱うことのできるもので、Audio Hijackの出力をWirecastに入力するために使っています。
配信サーバに映像・音声データを送る
今回はYouTube Liveでの配信となりましたが、映像データは極めてデータ量が多いため、情報を適度に間引いて圧縮する処理が行われてから、Youtube Liveのサーバに送信されます。現在は「H.264」という規格で圧縮され、配信サービスのサーバへは「RTMP（Real Time Messaging Protocol）」という通信方式でデータを送ります（音声はMP3やAACで圧縮されます）。
動画のデータをH.264などの形式に圧縮するなどして変換する処理のことを「エンコード」といい、その処理をするソフトウェアや装置を「エンコーダ」といいます。
エンコードの処理はWirecastでも行うことができるものの、そこそこ重い処理でもあるので、今回は外付けのエンコーダであるCerevo LiveShell Xを利用しました。今回のシステムでは、Wirecastでスイッチングした最終的な映像・音声信号はDeckLink Duo 2からSDIで出力され、その信号をVideoAssist 4Kで録画しつつ、HDMIに変換してLiveShell Xに入力しています。
配信には、安定したインターネット接続も必要です。フルハイビジョンの映像を送るのに、最低でも上り4Mbpsの帯域が安定して得られる必要があります。今回はO-EASTさんに引き込まれているインターネット回線を利用させていただき、ルータの設置場所からLANケーブルで配信ブースまで引き回しました。会場によってはインターネット回線が使えない場合もあり、そうした場合は有線LANで接続可能なLTEルータなどを使うこともあります。Wi-Fiはお客さんのスマホのテザリングやモバイルルータ、2.4GHzワイヤレスマイクなどの影響も大きく、配信で使うのは極めて高リスクです。
音声トラブルの原因はMac版Wirecast 13.x系のバグ
今回の配信では、途中で音声に激しいノイズがのってしまったり、完全に無音になってしまった場面が何回も生じてしまいました。現在公開されている動画はその部分をカットしたものになっています。問題が発生したのは、Wirecastから映像と音声を出力する部分で発生していて、映像は出力されるものの音声にノイズがのったり、無音になったりしていました。Wirecast上のレベルメータは振れていたのと、私自身はスイッチングに集中するため、ライブ中は配信音のモニタをできていなかったため、発見が遅れました（視界の端でみていたチャットで気づきました！）。
本当なら最終段に近い、録画を回していたレコーダのヘッドフォン端子で音をモニターするのがよいのですが、その音声はWirecastの処理などで0.1〜0.2秒ほど遅れているため、その音を聴いてスイッチングをすると、タイミングがズレてしまうので、音楽モノでそれをモニタしながらスイッチングするのはかなり難しいのです（トークイベントなどの場合は、そちらをモニタしていますが）。
では、なぜこんな音声の障害が起きてしまったのかというと、結論からいうとWirecast 13.x系に存在するバグでした。
今回の配信では、Mac版のWirecastのバージョン13.0.2を利用していたのですが、配信後の動作検証でも、配信時点での最新版の13.1.0ともに同様の問題が発生することが確認できました。
2020年3月4日に無観客で行われたSAKA-SAMAさんの「たのしい生活ツアー」生配信含め、ここ最近の他の配信現場でも13.0.2を利用していて、同様の問題に遭遇したことはなかったのですが、今回はカメラの数も比較的多めで、スイッチングも頻繁だったせいか、問題が顕在化してしまいました。
配信後に行った検証では、今回の配信と同じく6カメ分の映像を入れ、スイッチング後の映像を出力する構成で、テスト用のMIDIコントローラをArduinoで開発し、自動でWirecast上のスイッチング操作をランダムで行える装置を用意して行いました。その結果、Wirecast 13.x系では同様の音の問題がほぼ確実に発生し、ときには突然異常終了することもありました。
比較のために、Wirecast 12.2.1でも同様のテストを実施して、長時間同様の負荷をかけましたが、そちらでは問題が発生しないことが確認できました。
配信仕事仲間にも訊いたところ、同様の問題に遭遇したことがある人もいて、このnoteの執筆時点ではMac版の13.x系を利用するのは危険で、12.2.1を使うのがよいというのが結論です。さいわい、Telestream社のウェブサイトからは過去のバージョンをダウンロードすることも可能ですので、バージョンアップしてしまっていても、元に戻すことはできます（ちなみに、筆者のMacには過去のバージョンもいつでも起動できるようにしています＝古いやつはライセンスの関係でデモモードになるやつもありますが）
13.x系はGPUを効率よく使うことで各カメラ（ショット）の映像を確認できるサムネイルも極めてスムーズに動くため、本当は13.x系を使いたいのですが、こればかりはいたしかたありません。Windows版でどうなのかはわからないのですが、少なくともMac版は残念ながらこうした状況です。
古いバージョンがダウンロードできるページがわからないと読者の方からお問い合わせがあったので追記します。こういうのは、自力で解決するか（わかりにくいですが、探せば見つかるところにあります）、Telestreamさんのサポートに訊くべき内容ですが、その時の回答を整理して再掲します（2020年6月18日追記）。
Telestreamのサイトの上部のメニューにある「Support」のなかの「Wirecast」の「Download」からアクセスできるページ(https://dynamic.telestream.net/downloads/download-wirecast.asp?prodid=wirecast)で、ユーザー登録したうえでログインすると、「Previous Versions」というのが上のほうにあり、そこから必要なバージョンが落とせます。Mac版、Windows版の選択は、同じ画面の最新版のダウンロードボタンの下にある「Or download for …」のところで切り替えられます（デフォルトはWindowsのようです）。
私自身、2013年ごろのWirecast 4.xのころから業務に使ってきていて、ここまでのトラブルに遭遇したことはありませんでした。確かに動きの怪しいバージョンもあり、そういうのを避けてきたものの、今回のはちょっとショックでした。
Wirecast 13.x系は大きくコードが書き換えられたようで、動きの怪しいところもあり、配信時点での最新版の13.1.0を使わなかったのは、ショットの切り替えの効果（カットかディゾルブ）が意図したものが使われなくなるバグが発覚して、13.0.2にした経緯があったので、もっと保守的に12.2.1を使うべきでした。
あと、実は本番直前で、13.1.0のバグが発生した関係で、利用するバージョンを戻したりしていたときのバタバタで、Wirecastの内部処理の解像度（キャンバスサイズ）をデフォルトの720pのままにしてしまっていた関係で、本来は1080p29.97であるべきところ、配信映像が720p50というフォーマットになっていたこともここに告白しておきます（ただ、内部のフレームレートは30pなので、いろいろおかしなことになっていました）。
いよいよ完全リモートでないと難しくなりつつあり……
そんなこんなで、最近はほぼライブも行われない日々ですし、ライブ以外のイベントも中止になり、なくなってしまう配信案件も多い一方で、ありがたいことに無観客ライブ配信など、いろいろお声かけいただくことも多くなっています。
とはいえ、無観客でもライブハウスからの配信は難しくなりそうだというのもあり、「ソーシャル・ディスタンシング」を意識して、演者もスタッフも完全リモートで4月4日に実施した「電影と少年CQの『月世界旅行通信 vol.1』」の舞台裏について、次回は書いてみたいと思います。
こんな時期ですので、サポートいただけたら家飲みビール代としてありがたく使わせていただきます！ ご紹介しているような配信案件などのご相談ありましたら、TwitterやFacebookなどでどうぞ！