見出し画像

劇団ノーミーツ『むこうのくに』の舞台裏〜OBS配信編〜

mizumasa

画像1

初めましての方は初めまして、劇団ノーミーツで映像に関する演出や配信技術を担当しています、水落大といいます。普段は映像機器を作る仕事をしつつ、映像作家として活動したりしています。

さて、公演からしばらく経ってしまったのですが、オンライン配信は今後も盛んに行われますし、演劇公演『むこうのくに』の向こう側、舞台裏について、今後同じようなことをやりたいと考えている方に向けて、少し書いておこうと思います。

『むこうのくに』には、本当に最高のメンバーが集まっており、僕がこの作品に貢献できた部分はほんの一部に過ぎません。

どんなことをやっていたかというと、

①映像配信システムの設計
②各画面の構成整理
③OBS内の映像アニメーション
④照明制御（遠隔コントロール）
⑤リアル背景美術のコンセプト作り、準備
の５つが大きなものになります。

最初の２つは、テクニカルディレクターの藤原遼と一緒に設計し、現地の設営、オペレーションは彼が完璧にこなしてくれました。最高に頼れるテックリーダーです。

①②背景グラフィックを活用した配信のための仕組み

画像2

③では今回配信映像に新しい表現を盛り込むため、動画編集で使われるような移動アニメーション効果を、リアルタイムにかける仕組みを導入しました。

④は気づいた方は少ないかもしれませんが、本編で一部照明演出があり、Hueを使った遠隔コントロールで演出を行いました。当日のオペレーションは、中村加奈（なかな）が担当しました。

最後は、⑤舞台美術として、今回の作品はzoomのバーチャル背景を使うシーンが多かったのですが、実際の役者さんの部屋が映るシーンも多くあり、登場人物に合わせて部屋をどうデザインするかも担当させてもらいました。

ここから、各項目をもうちょっと詳しく書いていきます。

①映像配信システムの設計

今回の配信の大まかな仕組みは、役者同志のzoom部屋での芝居を、配信スタジオで取り込み、背景や様々な重畳素材と合成した上で、vimeoにリアルタイム配信し、vimeoプレーヤーを埋め込んだ配信サイトを介して観客に届けるといったものです。配信サイトにも様々な仕掛けが施されており（by藤木良祐）それは別の記事を参照頂くとして、本章では配信スタジオのシステムについて幾つかキーポイントを紹介します。

画像2

前回公演の「門外不出モラトリアム」では、zoomの画面そのものをvimeoに配信する形になっていましたが、今回の公演では、仮想世界「Helvetica」の世界観を最大限表現するため、レイアウトを自由に配置できるように役者１人１人の映像を個別に抜いて、それをPC上で合成することが求められました。そのため、そのシーンに登場する人数分のPCを用意し、演技をしているzoomの部屋に入った状態で、指定された役者の映像を全画面（スピーカービュー）で固定した上で、その映像を別のPCにキャプチャボードで取り込むことになりました。やり方によっては、zoomのギャラリービューを取り込んで、必要な部分を切り出して背景素材に合成するといった方法も考えられますが、突然カメラON/OFFされることによってビューの配置が変わってしまうことを考え、結局１人ずつ抜くことになりました。気になるのは回線速度ですが(同じ回線で、複数台のPCが同じzoomの部屋にアクセスしているため、本来であれば、PCの台数 x 役者の映像数 で物凄い数の映像が回線を流れることになる)、zoomも上手くやっているもので、スピーカービューがなるべくフレーム落ちしないように他の映像は制限をかけたりしているようで、この方法が上手く行きました。

さて、zoomのスピーカービューで全画面の役者の映像がスタジオに届いたところで、合成用のPCに映像を取り込むのがキャプチャカードです。テレワークの影響で最近ではHDMI->USBでwebカメラとして認識可能なUVCに変換できるアダプタが安く売っており、非常にメジャーな存在になりました。

これを、今回はmac pro を使用したため、HDMIをUSBに変換して挿していきます。この時、ハブを使用して複数挿していくことになりますが、USBの転送速度にも制限があり、PCの１つのポートには、アダプターを介して４つほどキャプチャカードを挿すのが限界でした。

さて、昔に比べるとかなり安く手に入るようになったキャプチャカードではありますが、2万円前後の高価なものに比べると、安いものにはそれなりの課題があります。熱問題と色再現性能です。それに対する解決方法を見ていきましょう。

１．安価なHDMI->USBアダプタで課題となるのが、熱対策が十分に行われていないために、フレームが遅くなっていく所にあります。簡単な対策としては、なるべくPC周りを整理し、冷却ファンで風を送る、金属アダプタであればヒートシンクを貼るなど、アナログな対処が一番です。

２．２つめの色再現について、価格が安いものは顕著に出るので気付きやすいのですが、安いキャプチャカードでは、元のPCで出した映像と違う色味で別のPCに取り込まれてしまうことが多々あります。
下の画を見ていただくと、２つの色のグラデーションチャートのうち、左が元のデータ。右が、その映像をHDMIで表示し、キャプチャカードで取り込んで別のPCで画像化した時のデータになります。彩度が高くなるについて、より彩度が高くなり、端っこの方ではほとんど彩度が上がりすぎて諧調が見えなくなっているのが分かるでしょうか。

USBキャプチャ色再現

2万円ぐらいのキャプチャカードではあまり起きないですが、安いアダプターでは内部の変換チップが安価なものを使用しているせいか、このように取り込んだ映像の色味が変化してしまう現象が起きます。特に肌色の部分に赤みが少しかかったような形になるため、注意が必要です。
対策としては、合成PC側で彩度の調整を行ったり、現場の照明を調整して自然になるように光を調整します。

↑信頼性が高く、業務用途では広く使われているMAGEWELL製のキャプチャカード。熱にも、色再現性能にも問題はないが、価格は高い。今回は沢山使いたいため、安価なものを使用した。

②各画面の構成整理

各画面の構成を決めていくために、まずは脚本からどのシーンに誰が出るのかを整理していきます。

シーン一覧画像

いわゆる香盤表ですが、こういったシーン一覧を全体で共有できておくと、システム面だけでなく、例えば稽古場で「今誰と誰がいるからこのメンバーならこのシーンの練習できる！」など、さっと分かるので便利です（学生時代に演劇をやっていた経験ちょっと生きてる）

そこから具体的なシーンを脚本、演出と詰めていきます。

シーンレイアウト検討画像

むこうのくにでは、脚本上のシーン数ではなく、シーンの中で登場人物が入れ替わるだけで、OBS上のシーンを増やしていく必要があり、その数は120を超えました。

画像7

OBSの最大の弱点として、普通のソフトウェアではあるはずの「Undo, Redo」がありません。オブジェクトを整列させる機能もありません。座標を数値で指定したり、オブジェクトの位置情報をコピーして別のオブジェクトに適用するといったことは可能ですので、先に各シーンでどの映像をどのサイズで出すかは計算で求めておき、位置をコピーしていくのが、シーンによらず常に揃ったレイアウトになるようにするには現実的です。
このあたり、昨今OBSのアップデートは頻繁になされていますので、いずれ（Undo, Redo）にも対応してくれることを期待しています。

③OBS内の映像アニメーション

ここまでは、zoomやOBSの基本機能でできる映像の作り方ですが、今回自分なりの挑戦として実現したのが、役者が映っているウィンドウにリアルタイムに移動アニメーションを加えることでした。

OBSは基本的に、GUIでレイアウトしたシーンを切り替えていくものなので、配信しながらオブジェクトを動かすといったことはできません。（マウスで動かすのはできる）そこに、AfterEffectsのようなキーフレームアニメーションを実現するために、外部APIを活用してOBS自体をソフトウェアでコントロールする手段を取りました。外部コントロールに適したプラグインとして、websocketを用いた、obs-websocket を使用しています。

OBSにwebsocketを介して各オブジェクトの名称の取得、座標の指定などを連続して行うアプリをpythonで実装しました。移動するボタンを押した瞬間に、OBS上で目標地点だけを記録したシーンの座標を読み込み、何フレームで移動して、各フレームではどの位置にオブジェクトがいるかを計算し、毎フレーム位置を指定することでリアルタイムでの画面移動を実現しています。

画像8

画像9

参考までソースコードを貼っておきます。アプリのgui化はkivyを使用し、websocketもそのまま書くのではなく、OBS用のwebsocketラッパー(obs-websocket-py)があったのでそちらを利用しました。使い方はこちらを参考にしています。

ここまでOBS配信の仕組みについて簡単に紹介しました、これで全く同じことができる訳ではなかなかないと思いますが、こういった配信をしようとしている方の参考に少しでもなればと思います！

さて、劇団ノーミーツは次の公演に向けて動き始めています。

この状況で、オンラインで演劇やエンタメに何ができるか、業界のために何ができるかを考えていました。使える技術・ノウハウは残していきたいですし、過去の作品でやったことにとらわれず、私たちは常にちょっと先の表現を探していきたいと思っています。


一旦OBS配信編はここまで、照明編に続きます！

劇団ノーミーツ『むこうのくに』の舞台裏〜照明編〜

劇団ノーミーツ『むこうのくに』の舞台裏〜なぜタイチは黄色かったのか？（舞台美術編）〜

近日更新予定




この記事が気に入ったらサポートをしてみませんか？