誰でも気軽に「映像制作の未来」を楽しめるって、ホント？バーチャルプロダクションで撮ってみた
映像制作に大きな変革をもたらすとして注目を集める「バーチャルプロダクション」。簡単に言えば、「スタジオにいながらにして、さまざまなロケーションでの映像撮影を可能にする技術」です。
（ここでは詳しく説明しませんが「それなに？」という方は、こちらの記事をご覧ください）
これまでUnity Japanのnoteでは、バーチャルプロダクションが『スター・ウォーズ』シリーズ初となる実写ドラマ作品『マンダロリアン』や、東映が制作する『TTFC産直シアター 仮面ライダーセイバー』で活用されていることを紹介してきました。
これらの作品を生み出しているのは、映像制作のプロフェッショナルたちです。しかし、Unityのコミュニティ・アドボケイトである田村は「バーチャルプロダクションは、『プロフェッショナル』だけの技術ではありません。機材もプロ向けでなく、個人が持つレベルのもので十分楽しめますよ！」と言います。
そこで、実際に機材をセットして、試してみることにしました。本記事では、その撮影の様子を通じて、バーチャルプロダクションを体感するための方法をまとめます。
必要なのは「場所＋4つの機材」だけ
バーチャルプロダクションを活用するために最低限必要なものをご紹介します。全体の仕組みを以下の図にまとめました。
まずは、撮影のためのスペースを確保しましょう。広さがあると撮影できることの幅も広がりますが、グリーンバックを吊るすスペースさえあれば撮影は可能です。今回はスタジオをお借りしました。
加えて必要なのは、4つの機材です。一つひとつの役割を見ていきましょう。
①グリーンバック（背景布）
カメラで撮った人の背景を抜き、抜いたところにCGを合成するための布を用意します。一般的に「グリーンバック」と呼ばれるものですが、布の色は何色でもOKです。この布が張られた範囲が「舞台」となります。つまり、360°ぐるっと布を張れるのであれば、そのスペース全体を舞台とすることも可能です。
②PC
バーチャルプロダクションでは複数の映像ソースを合成するほか、背景用に3Dアセットを多く配置する可能性もあります。そのため、レンダリング処理を行うのに十分なGPUを備えたPCが望ましいです。今回はGeForce GTX2080を搭載したゲーミングノートパソコンを用意しました。
このパソコンに『Unity』をインストールしておきましょう。PCは「『Unity』を動かすこと」と、後述するカメラの映像やスマートフォンアプリからの位置情報を受け取る役割も担います。
また、合成する背景CGとして使う3Dアセットも用意して、PCに入れておきます。今回はUnity Asset Storeで見つけた『Cartoon spooky low poly 3D models』を購入しました。
③カメラ
基本的には、USBケーブルでPCと接続し、Webカメラとして利用できればOKです。よりきれいな映像を撮影したければ、スペックの高いカメラやレンズを揃えましょう。このカメラで人物を撮影します。
④スマートフォン
ARKitをサポートするiPadかiPhoneを用意します。iPhoneであればiPhone 6SかiPhone SE（第一世代）以降の機種なら対応しています。撮影の前にUnityが提供しているアプリ『Unity Virtual Camera』をインストールしておきましょう。
スマートフォンが主に担うのは「バーチャル空間内のカメラ役」です。人物ではなく、バーチャル空間を撮影するために用いられます。また、実写用のカメラの動き（前後左右の移動とカメラの傾き）も取得して反映します。そのため、カメラのホットシューなどを使って上部に取り付け、カメラと一体化させる必要があります。
必要なものはこれで揃いましたが、必須ではないものの、被写体を撮影する際にはライトがあるとキレイに映ります。撮影内容に合わせて機材の用意をすると良いです。
それでは早速、セットアップに移りましょう！
Unityの設定と機材のセットアップ
次に各機材をセットアップしましょう。
①『Unity』の設定を調整する
『Unity』を立ち上げ、実写カメラからの映像入力処理や、スマートフォン（＝Unity Virtual Camera）からの入力処理、それらを合成した映像を収録するための設定を行います。この記事の最後に詳細なセットアップ方法をまとめますので、詳しく知りたい方はそちらをご覧ください。
②グリーンバックを張る
舞台となるグリーンバックを張ります。このとき、グリーンバックにしわができてしまうとCGにムラができてしまいます。「しわができないように、ピンと張ること」を意識しましょう。
③カメラとスマートフォン
この2つの機材がバラバラに動いてしまうと、人の動きと背景の動きが一致しなくなってしまいます。つまり、カメラとスマートフォンは常に連動させなければなりません。今回は以下の画像のように、カメラの上にスマートフォンを固定し、撮影を実施しました。
④演者
着の身着のまま撮影することももちろん可能ですが、今回はハロウィン時期の撮影だったということもあり「せっかくなら……」ということで、仮装をしてみました。
また、今回の撮影は「撮ってみた」のお試し版として、キーイング（※クロマキーの色抜き）やカメラの位置・角度情報の精度はホビーユースで支障がない程度にとどめました。当然、それらの精度を高めていくと、より高品質な映像を収めることが可能になりますが、機材費用など制作コストが高くなっていきます。
みなさんが試される際には、まずは撮影できることがわかった上で、それぞれの環境でよりクオリティを追求していってもらえたらと思います。
さてさて、試しに撮ってみましょう。実写用のカメラを通して撮れるのは、このように人物の背景に緑の布が敷かれただけの映像ですが……
Unity上では緑の部分を切り抜き、背景CGが合成されています！おどろおどろしい背景で、一気にハロウィン感が増していますね。
準備ができたら、いざ撮影です！
今回は監督を務める田村が絵コンテを用意しました。簡易的なものでも絵コンテがあれば、撮影中にどんな構図で撮るか迷うこともなく、効率的に撮影を進められます。
田村の「キュー！」の掛け声で撮影はスタート。
絵コンテに沿って、グリーンバックの前でさまざまなシーンを撮影していきます。
こんなふうに引きの画だと仮装をしている人たちがふざけているだけに見えるかもしれませんが……PC上ではUnityが実写映像を取り込み、スマートフォンの動きから背景CGをリアルタイムで追従させることによって、こんな合成映像に仕上がっています。
ちなみに、Unityエディタを操作する人向けのモニタ以外に、演者などにも見せられるモニタがあると、全員で状況を確認しやすくなります。
ここでバーチャルプロダクションのおさらいです。バーチャルプロダクションの撮影方法は、大きく2つあります。一つは今回実施した、グリーンバックを用いる方法。もう一つは、人物の背景に置いたLEDパネルに直接CGを映し出す方法です。ちなみに、冒頭に紹介した『マンダロリアン』は2つ目の方法で撮影されています。
グリーンバックを用いることのメリットは、圧倒的な導入のしやすさが一つです。人物の背景に据えられるほどのLEDパネルは巨大で高額ですが、グリーンバックなら通販サイトで数千円から購入できます。
また、オブジェクトに奥行きをもたせられるのもメリットです。上の画像の、魔女の前に置かれたランプにご注目。演者の前に何かを映り込ませたい場合、LEDパネルでの撮影では実際の物を設置するなどの工夫が必要ですが、グリーンバックでの撮影であればUnityなどのソフトウェア側で重ねて完成形にすることが可能です。こういうところは「グリーンバックならでは」のポイントと言えるでしょう。
……なんてことを田村から説明してもらいながら、撮影は進んでいきます。
カメラとスマートフォンを移動させることで、画角を変えることも可能です。
みんなでわいわい意見を出しながら、出来上がった映像がこちら。
前述したように、ところどころでキーイングがきれいにできなかった箇所はあるものの、手持ちの機材でバーチャルプロダクションを体感する、という「やってみたい」ことは実現できました！
試してみると、思った以上に気軽に、合成映像を撮ることができました。これはもう「バーチャルプロダクションは誰でも活用できるようになってきた」と言っても過言ではないでしょう。
バーチャルプロダクションは、プロフェッショナルたちの映像表現の幅を広げるだけではなく、私たちの動画制作にこれまでに無かった楽しさを提供してくれる技術なのではないでしょうか。YouTubeにアップロードする動画や結婚式ムービー、会社のイベント用など、動画制作に触れる機会は結構あるものです。そこに、個人でも特撮感覚で映像表現できるとなると、アイディアも広がるのではないでしょうか。
興味のある人は、ぜひ今回の記事をきっかけにチャレンジしてみてください！
補足：Unityのセットアップとキーイングの精度について
Unityのセットアップ
ここでは今回のシステムのセットアップをもう少し詳しく解説します。
その前に説明しておきたい点として、今回のシステムではUnity Japanが現在開発中の「Unity Anime Toolbox」（仮）の一部機能を使用しています。この「Unity Anime Toolbox」は、アニメ・映像制作向けに機能やワークフローをパッケージ化したソリューションで、この記事公開時点では残念ながら一般公開はしていません。
したがって、すぐに同様のセットアップを皆さんに体験していただけないのですが、近い将来に「Unity Anime Toolbox」が公開された際は、同様のセットアップができるように公開する予定です。
「Unity Anime Toolbox」の概要については、こちらの記事で紹介しています。ご興味のある方はこちらを一度ご覧ください。
さて、セットアップに戻ります。
まずは、iOSデバイスに「Unity Virtual Camera」を、Unityエディタに「Live Capture」パッケージをそれぞれインストールし、それらを接続します。インストールおよび接続方法、そしてUnityエディタ内のシーンにあるカメラへの設定は、過去のUnityステーションで解説しておりますのでそれをご覧ください。
ちなみにこの部分は、Unityステーションの資料内にサンプルプロジェクトも用意されているので、実際にインストール・接続・カメラ設定を試していただけます。
次に、実写を撮影するカメラをUSBでPCと接続し、カメラの映像をUnityエディタに流し込む設定を行います。ここではRenderTexutureコンポーネントでレンダリングしていますが、カメラ映像を取得する部分はビジュアルスクリプティングで作成しました。
そして新規シーンを作成し、背景など表示したいアセットを配置します。この時、合成する実写映像の被写体との尺（サイズ）がおかしくならないよう、アセットのサイズ基準をきっちりとと整えておく必要があります。また、実写を映すカメラとUnity内のカメラの挙動が一致するように基準位置を決めたり、「Unity Virtual Camera」と実写を写すカメラのセンサー位置を揃えるための差分（オフセット）を物差しで計測・設定したりもします。
なお、カメラトラッキングを精緻に行う専用機材も多数ありますが、いずれも個人が購入するには高額なので、今回は安価で揃えられる、あるいはすでに所有している範囲のもので構築しています。そのため、今回のシステムではホビーユースで支障がない程度の精度にとどめ、カメラズームも非対応です。
そして、前述の「Unity Anime Toolbox」に含まれる「Visual Compositor」で、シーン内のカメラ映像（＝合成映像の背景に相当する部分）と実写カメラ映像（＝演者・被写体の映像）を合成します。「Visual Compositor」は名前の通りに映像を合成する機能であり、ノードベースのシステムになっているので、ノード機能を組み合わせて様々な合成処理を行います。
今回のキーイングは「Visual Compositor」の機能を応用して使っています。今後クロマキー用のキーヤー機能も組み込まれ、キーイング精度の向上も行われていきます。サンプルプロジェクト公開時には、さらにきれいなキーイングを体験してもらえるでしょう。
このほかでは、UnityのRecorderパッケージをインストールして、合成した映像のファイル出力を行っています。
キーイングの精度を上げるために
キーイング（クロマキーの色抜き）は、「指定したキーカラーを透明にしなさい」と命令することで実行でき、透明部分にCG背景を合成します。
今回は単一色とその周辺を選択するシンプルなカラーキーヤーの機能を用いました。ただ、今回の撮影条件では「照明の当たり方による発色の違い」「人物によって出来る影に依る発色の違い」といった点が影響して、「単一色とその周辺」だけでは指示が不十分となってしまい、指定から外れた色が残ってしまいました。
これを解決するには「グリーンバックになるべく均一にライトを当て、同じような発色に近づける」「人物の影をグリーンバックへ落とさない」といった方法が考えられます。また、より調整に時間を掛け、複数のキーカラーを指定することも可能です。つまり、設定したキーカラーごとにキーイングを施し、出来た複数のキー信号を合体させるのです。他にも、色相、彩度、明度を細かく指定できるキーヤーを使用すれば、よりきれいなキーイングができるでしょう。
撮影時にはなかったのですが、先日Unityのシェーダーグラフでクロマキーヤーを実行するシェーダーも公開されました。今後はより簡単で、さらにきれいなキーイングを試せるはずです。
（文・鷲尾諒太郎／写真：yansuKIM）