見出し画像

個人でバーチャルプロダクションをやってみた

KWD

このnoteは約10分で読むことが出来ます。（4287文字）


はじめに

はじめましてKWDと申します。UE5を使用して実写×CGのコンテンツ制作しております。
今回は初めてバーチャルプロダクションで映像を作りましたので記事にまとめたいと思います。
それではまずは制作した映像をご覧ください！



バーチャルプロダクションとは


まず初めにVP（バーチャルプロダクション）とはどういったものなのか超簡単に説明しておきます。色々な解釈があると思いますが、ここでは”リアルタイムで実写とCGを合成する技術”とさせていただきます！

従来の合成方法ではすぐに合成結果を見ることが出来ませんでしたが、VP制作では撮影現場で合成後の映像を確認することが出来ます。しかもリアルタイムで！！

もっと詳しく知りたい方はコチラの記事がおすすめです！


VP制作をやる上で必要なことのひとつに現実のカメラとCG空間のカメラの動きを同期させることがあります。現実とCGのカメラが同じ動きをしなければ合成した時にCG背景がズレてめちゃくちゃになってしまいます笑

今回はIPhoneのLiveLinkVCAMというアプリを使用してIPhoneの動き（上下左右、傾きなど）をPCに送って現実とCGの同期をしています。そして撮影カメラの上にIPhoneを固定することで「IPhoneの動き≒カメラの動き」としています。

カメラの上にIPhoneを固定しています

このように設計すれば現実のカメラ(IPhone)が傾けば、CG内のカメラも傾くようになります。

今回はこのLiveLinkVCAMがどこまで有効であるのか検証することが目的の一つでありました。しかし結果はIPhoneでは限界があるということでした笑
ちゃんとVP制作をするならカメラトラッキング用の機材を使用することをおすすめしますｗ


VP制作ワークフロー図解

IPhoneでカメラワークを、カメラでクロマキー映像をPCに送る
リアルタイムで合成映像をモニターに映します
後日、撮影した映像とレンダリングしたCGを本番用に合成します



VP制作のメリット

実際にVP制作をしてみてメリットと感じた点をあげます。

  • 現場でCGのイメージ共有できる
    リアルタイムにCG背景を見ることができるため演者や監督など現場にいるメンバーでイメージを共有してよりCG背景にあったパフォーマンスができる

  • 現場で柔軟に背景やライティングの変更ができる
    CG背景内のオブジェクトの配置やライティングなどを柔軟に変更できる

  • 撮影直後にCG合成のプレビューが可能
    シーン撮影後すぐにCG合成された映像を見ることができることにより、OKを出しやすい

  • 合成作業にかかる手間が少ない
    マッチムーブ（現実とCGのカメラワークを合わせる作業）が必要ないため、従来のクロマキー合成に比べて合成作業が大幅に短縮できる

  • マッチムーブが必要ないため何パターンでも撮影可能
    結果をすぐに見れる＆合成の手間が少ないため合成コストを考えずに何カットでも撮影できる

  • 準備から完成まで短い期間で制作できる
    VP制作は従来の制作方法に比べて省ける部分が多いため短い期間で高いクオリティを実現する可能性を秘めている

  • 低予算で行うことができる
    クロマキーを使用したVP制作の場合は低予算になる傾向にある
    （LEDパネルを使用するVP制作は恐らくとんでもない金額…）


他にもメリットはたくさんありますが、大きく感じた点は以上です。
やはりリアルタイムで合成結果を見ることができる点とCGを柔軟に変更できる点は従来の制作方法では決して出来ないことですし、撮影現場での品質向上に直結していてVP制作ならではのメリットだと感じました！


プロジェクト概要

本プロジェクトで使用した機材、ソフトや出来上がるまでにした作業をまとめます！

機材・ソフト

  • UnrealEngine5.2（CGソフト）

  • DavinciResolve18.5（動画編集ソフト）

  • LiveLinkVCAM（カメラトラッキングソフト）

  • デスクトップPC
    CPU　 Intel(R) Core(TM) i5-12400F 2.50 GHz
    RAM　32.0 GB
    GPU　GeforceRTX3060TI

  • カメラ・レンズ・スタビライザー（レンタル）
    カメラ　Sony FX3
    レンズ　24-70mm
    スタビライザー　RS2

  • 撮影スタジオ・証明（レンタル）
    全体　535×1130×250（cm)
    撮影スペース　272×300

普段使いしているゲーミングPCを使いました。（もっとスペックほしい…）
必要なものは基本的にレンタルで揃えました！

雑貨は100均とAmazonを活用！！


予算

大体5万円ほどです。
内訳はざっくりこんな感じです！

機材費　20,000円
スタジオ費　10,000円
人件費（自分+2人）　10,000円
交通費　5,000円
雑費　5,000円

今回は検証目的だったため、出来るだけ予算がかからないようにしました。
スタジオがクロマキー撮影用ではなかったり、友人に手伝ってもらっているので本来はもっと掛かるでしょう笑


準備

いきなりスタジオで撮影するのも怖かったので、ミニチュアスタジオを作って自宅で検証していました笑

↑ミニチュアスタジオ
↓UE5でCGと合成


撮影前にはCG背景も完成させました。
この時にCG内でのライティングも決めておき、当日のスタジオライティングをどのようにするかこの段階で考えます。
背景制作中にモデルの身長を演者の身長に合わせておくとズレが減って良いです。

PCの負担が軽いVP撮影用の背景とレンダリング用の高画質な背景を分けて用意すると良いでしょう。

予め用意しておくもの
・CG背景（撮影用＆レンダリング用）
・ライティングマップ
・撮影用BGM（MVの場合）
・撮影シーン（カメラワーク）
・撮影に必要な機材
・スタジオでの配置図

こんくらい雑でもあるだけ便利！ライトの配置も書いたよ！


撮影当日


グリーンバックだけを照らすライトを作ると抜けが良くなる

スタジオを使える時間は準備片付け含めて3時間だったので全体的にバタバタしていました。準備にかかった時間は約50分、そこから1時間少し撮影を行い時間内に撤退しました！
予めスタジオの図面を見てPCやライトなどの配置を決めておいたのがとても良かったです。



現実のカメラの動きに合わせてリアルタイムでCGの背景が動くようになっています。
グリーンバックが狭く見切れている部分も多いですが、最終的に動画編集ソフトでクロマキー処理を行うのでそこまで問題になりません。
（ただやっぱりグリーンバックは大きい方がいいですｗ）

また撮影時の注意としてLOGデータをそのままPCに送らないことです。コントラストの低い映像ではクロマキー処理がうまくいかない場合があるので気をつけましょう。


今回は撮影時にテンパりすぎて録画できていなかったものや、設定が間違っていた物が多く使える映像が極端に少なかったですorz

合成作業

合成作業はDavinciResolve18.5を使用しました。
無料で使える幅がかなり広く、カラーグレーディング機能は映画やCMなどプロフェッショナルな現場で使われているほどクオリティが高いです。

クロマキーの色を抜いてCGを合成するのは簡単なのでメインの作業はカラーグレーディングと動画編集になります。今回のプロジェクトでいうCGと実写の色の馴染ませ、全体的な色味の調整、カットの配置、エフェクトなどです。
従来のクロマキー合成方法だと、ここで現実とCGのカメラワークを同期させる必要がありますが、VP制作はその手間を省いてくれるので大幅な時間短縮に繋がりました。


しかし今回のプロジェクトで一番苦戦したのは実はこの部分でした笑

まず第一の失敗としてシーンとタイムコードの記録を行わずに撮影したことです。グリーンバックの実写映像とCG背景の映像は別のファイルとして存在しているので、シーンの記録をしなかったせいでどの実写映像に対してどのCG映像がマッチしているのかわからず、タイムコードを記録しなかったせいで実写映像とCGのどこがマッチしているのかわからなくなりました。

撮影時に記録していなかったせいで編集時に自身の感覚で合成をするしかなく、せっかくスタジオまで借りたのにもったいないなぁと思っていました笑

タイムコードは通常ビデオとの関連において、時間上の正確な位置を示します。これを使用すると、音楽と動画など複数の要素間の正確な同期を行なえるようになり、基準ツールとしても使用できます。

steinberg.help


次にグリーンバックが狭すぎた点です。
グリーンバック外が映ることは問題ないですが、グリーンバック外と人体が重なってしまうとその部分の人体はクロマキー処理で抜くことが出来ません。そうなると使わないか動画編集ソフトのマスク機能で気合で抜くしかないので大変です笑
少し予算が弾んでしまう場合でも十分な撮影スペースを確保することをおすすめします。


まとめ


結果としては満足いくクオリティになりませんでした…
しかし今回の反省を次に活かすことができればやった意味は大いにあります。（本来の目的は検証だし！）
反省点をまとめておきます。

反省点

  • ちゃんとしたカメラトラッキングシステムを使用する
    IPhoneでは無理！！ｗ

  • タイムコードとカチンコを使用する
    使わないで撮影すると編集が地獄です笑

  • 事前に絵コンテなど書いてシーンを作成する
    予め撮影する内容を決めておかないと画が単調なものになる

  • 広いグリーンバックスタジオで撮影する
    狭いとカメラワークが限定的になる

  • グリーンバックが反射しやすい衣服は着用しない
    白や金属など緑が反射しやすい色や素材は背景と一緒に抜けてしまう


ここには書ききれないほど個人的に改善する点はたくさんあります笑
もしこのnoteを読んでVP制作してみようと思った方は、トラッキングシステム、タイムコード＆カチンコ、広いスタジオ、この3点だけでもしっかりと準備することを強くおすすめします！
どれもVP制作をする上で欠かせない要素だと実感しました。


今後の展望

私は引き続きVP制作を活用したコンテンツ制作をしていきたいと思います！
今回のプロジェクトをやったおかげでVP制作の一通りの流れは体験できましたので、今後はVP制作に興味がある人を巻き込んで今回よりも規模感のある作品を作りたいと考えています！

このnoteが誰かの役に立てたら光栄です！
一緒に素晴らしい作品を作りましょう！！

楽しかった！


参考リンク

今回のVP制作をするに当たり参考にした動画です。


この記事が気に入ったらサポートをしてみませんか？