【VP】バーチャルプロダクションの要点や注意点まとめ
虎徹のタキです。
ここ数年で技術とニーズが急激に高まってきたバーチャルプロダクション。
リアルタイム合成技術なので元々はライブ配信やイベント・放送の分野で主に使用されてきましたが、CMや映画の世界でもかなり使われるようになってきました。
本記事では、CMや映画のスタッフ(主にプロデューサー・制作部・監督・カメラマン)を対象に、VP(バーチャルプロダクション)に関する用語やメリット・デメリット、採用する上での技術的な注意点などをまとめておきたいと思います。
特に、
【やってみたいし興味はあるけど、実はよくわかってない！】
【メリットとデメリットがちゃんと整理されていない！】
という方向けの記事になります。
尚、撮影技術のテクニカルディレクターとしての立ち位置からの執筆なので、その筋の方からは異論・ご指摘などあるかと思います。
その場合は、是非ご教示いただきたいです。
バーチャルプロダクションにまつわる用語
バーチャルプロダクション
リアルタイムにCGやバックグラウンド映像を合成・生成しながら撮影する手法の総称。実は包括的で抽象的な言葉です。
① LEDウォールにCGや実写映像を映写し、その手前の被写体を撮影する
② グリーンバックを背景にCG空間をリアルタイム合成しながら撮影する
③ 物理的なカメラ(ALEXAとかREDとか)自体を使用せず、CG空間内のカメラのみをコントロールして撮影(CGを収録)する
と、いろんな撮影手法があります。
余談ですが、虎徹のkotetsu.XRシステムは③または簡易的に②を実現するためのシステムです。センサーにはIntel RealSenseを使用しています。
ICVFX(インカメラVFX)
多くのスタッフがイメージするVPはこれ。
LEDウォール + カメラトラッキングシステムを使用したバーチャルプロダクションです。
カメラトラッキングシステムがカメラの位置や動き・レンズの情報を取得し、LEDウォールに映写された背景映像(主にUnrealEngineでリアルタイム生成されたCG)をカメラに同期させて描画します。
カメラの収録素材の時点で既にVFX処理が終わってるよ、感のあるネーミングの通り、ポスプロでの背景合成工程が不要。
（実際にはマスク処理して差し替えることも発生している模様…。）
カメラトラッキングシステムには種類があり、スタジオや技術会社によって採用してるものが異なります。
MoSys StarTracker - https://www.mo-sys.com/
stYpe RedSpy - https://stype.tv/
XR
Extended Realityの略。
この言葉はややこしいことに2つの意味を持ってしまっています。
① VR/AR/MRなど仮想空間と現実空間の合成技術全般の総称
② 前述のICVFXにおいてLEDウォールの外側を(ほぼ)リアルタイムにマスキング・合成する技術・手法
②でいうところのXRはイベント映像やライブ配信で多く使用されています。
CMや映画の撮影でLEDウォールの外側をリアルタイムに生成し、それをそのまま撮影素材として使用することがあるかというと、そこまで必要ないように思いますが、現場でのモニタリングとしてはかなりの没入感が得られます。
LEDスクリーンプロセス
LEDディスプレイにCGや実写映像を映写し、それを背景に撮影する手法。
カメラトラッキングシステムを使用しない場合の呼称。
スクリーンプロセス自体は映画用語として昔からあって、プロジェクション方式で古くから採用されているものが昨今では高輝度なLEDに置き換えられたよ、ということです。
バーチャルプロダクションに含むかどうかは賛否あると思いますが、同一環境で併用されることも多い中で、ICVFXと差別化する意味として同列に置いてメリットデメリットを把握する必要があるとは個人的におもいます。
CM・MV・映画撮影におけるVPの選択肢
前項の用語を整理した上で、CM・MV・映画撮影におけるVPの選択肢には、
ICVFX
カメラトラッキングシステムを使用するクロマキー撮影
LEDスクリーンプロセス
の３種類が存在するということになります。
カメラトラッキングシステムを使用しないクロマキー撮影はVPじゃないので割愛します。いつもやってるあれです。
XRはICVFXのオプション的な扱いということで端折ります。
ICVFXのメリット・デメリット
撮影現場にはLEDウォールが立ちます。
カメラが動くと背景映像(主にCG, 実写の場合は視差が発生しない範囲)が追従して動き、カメラには被写体と背景が合成された状態で収録されます。
必要に応じて、カメラワークやレンズ情報はデータとしてポスプロに渡ります。
メリット
○ カメラワークの自由度が高い
→ 従来の後処理でのカメラトラッキングでは再現が難しかった手持ち＆長玉＆深度浅めなどの撮影が可能
○ 撮影現場のイメージ共有が格段に向上
○ 写り込みや透過がリアルに再現できる
→ 車のボディやガラスへの反射, 透過する飲料, メガネの写り
○ 髪の毛や人物のエッジの滲みなどがリアルに再現できる
○ レンズフレアや光学フィルターの使用が自由
○ ポスプロにかかるコスト削減
→ ただし後処理で背景を差し替えたいとなったらクロマキー撮影より高くな流可能性が高いです！
デメリット
● (背景がCGの場合)撮影までに完成形のCGデータが必要
→ 事前の監督やクライアントのチェックが大変
→ でも美術チェックってそういうもんですけどね
● (背景がCGの場合)リアルタイムに描画できるCGのクオリティ問題
→ 後処理で生成するCGデータはかなりの時間をかけてレンダリングしています, ICVFXでのCGレンダリングはリアルタイムである必要があるため、普段後処理で期待するのと同じクオリティのCGを要求できない可能性が高いです
●ライティングの制限
→ カメラトラッキング用のマーカーと照明機材の干渉
→ LEDウォールへのライトの写り込み
● ハイスピード撮影の可否 / フリッカー
→ (CGの場合) CGの描画性能に依存, 要事前確認
→ (実写の場合) 実写素材のFPSや送出機材に依存, 要事前確認
→ LEDウォールの送出FPS,リフレッシュレートに制限, 要事前確認
● 撮影にかかるコストが膨大
→ LEDウォール / カメラトラッキングシステム / CGエンジン, 各オペレーター人件費
● 撮影機材のキャリブレーション作業が必要
→ カメラトラッキングシステムの組み込み, レンズキャリブレーション
● LEDウォールの大きさによってアングルやカメラワークに制限
● LEDウォールに対する被写界深度の調整・モアレの発生
● (背景が実写の場合) カメラワークに制限
→ CGと違い、カメラワークによる視差が再現できないため
● 接地部分の処理が困難
→ LEDウォールとスタジオの床の接地部分が画角に入ると処理が難しい
→ (背景がCGの場合)床もLEDパネルの場合解消できる場合がある
※天候に左右されない、というメリットは従来のクロマキー撮影でも同じことなのでメリットからはずします
カメラトラッキングシステムを使用するクロマキー撮影のメリット・デメリット
撮影現場にはグリーン(or ブルー)スクリーンが設置されます。
モニター上ではクロマキーが除去され、背景データと仮合成された映像が表示されます。カメラが動くと背景映像(主にCG, 実写の場合は視差が発生しない範囲)が追従して動く手法です。
カメラで収録したデータはグリーン(or ブルー)バック状態のままなので、ポスプロで合成を行います。カメラワークやレンズ情報はデータとしてポスプロに渡ります。
メリット
○ カメラワークの自由度が高い
○ 撮影現場のイメージ共有が格段に向上
○ ICVFXよりCG制作期間が長く、CG自体のクオリティも上げられる
→ リアルタイムに描画する必要性がなくなるため
デメリット
● (背景がCGの場合) 撮影までに仮のCGデータが必要
● ライティングの制限
→ カメラトラッキング用のマーカーと照明機材の干渉
→ LEDウォールへのライトの写り込み
● 撮影機材のキャリブレーション作業が必要
→ カメラトラッキングシステムの組み込み, レンズキャリブレーション
● 撮影にかかるコスト
→ カメラトラッキングシステム / CGエンジン, 各オペレーター人件費
LEDスクリーンプロセスのメリット・デメリット
撮影現場にはLEDウォールが立ちます。
カメラには被写体と背景が合成された状態で収録されます。
カメラが動いても背景映像(CG・実写問わず)はそれに追従して動いたりしない手法です。背景映像は撮影本番のタイミングに合わせて再生することになります。
メリット
○ 撮影現場のイメージ共有が格段に向上
○ 写り込みや透過がリアルに再現できる
→ 車のボディやガラスへの反射, 透過する飲料, メガネの写り
○ 髪の毛や人物のエッジの滲みなどがリアルに再現できる
○ レンズフレアや光学フィルターの使用が自由
○ ポスプロにかかるコスト削減
デメリット
● カメラワークの自由度が低い
→ カメラワークによる視差が再現されないため
● (背景がCGの場合)撮影までに完成形のCGデータが必要
● (背景がCGの場合)リアルタイムに描画できるCGのクオリティ問題
●ライティングの制限
→ LEDウォールへのライトの写り込み
● LEDウォールの大きさによってアングルやカメラワークに制限
● ハイスピード撮影の可否 / フリッカー
→ (CGの場合) CGの描画性能に依存, 要事前確認
→ (実写の場合) 実写素材のFPSや送出機材に依存, 要事前確認
→ LEDウォールの送出FPS,リフレッシュレートに制限, 要事前確認
● LEDウォールに対する被写界深度の調整・モアレの発生
● 撮影にかかるコスト
→ LEDウォール機材費, オペレーター人件費
● LED接地部分の処理が困難
→ 美術的に隠すとかしないと基本的にどうにもできない
VP案件に関する技術的覚書
ここから先は、自分がVP案件をやってきた中での心算と、技術的に押さえておきたい部分を列挙しておきます。多少、雑感味ある感じですみません。
目的と手段を見誤らないこと
偉そうにすみません。
技術者としての自戒なんですが、【この技術を使うことを前提にしよう】という姿勢で始めると、クオリティ等の一番大切なことを犠牲にすることが多々あります。時には普通にクロマキー撮影に転換することも重要です。
撮影中であってもそのカードを常に持っておく必要があると思います。
一方で技術の発展やノウハウとは、往々にしてそういう制限の中で成熟していくものでもあるので、バランスが大切だと思います。
LEDウォール使用時のHS撮影とフリッカー
最重要課題のひとつです。
カメラとシステム機器(メディアサーバーや送出プロセッサー等)の間でGENLOCKをかけることはまず大前提ですが、機器によって規定FPS以外でのEXT SYNCに対応するかどうかは異なります。
またそもそも、
CGがハイフレームレートに対応できるか
実写映像がハイフレームレートで撮られているか
LEDがハイフレームレートに対応しているか
LEDへの送出系統がハイフレームレートに対応しているか
とそれぞれでできることによって撮影できるフレームレートに制限があると考えます。スペック的には多くの場合に60FPSは確保できると考えていますが、それ以上のHSに関しては各セクションへの確認が必要です。
カラーマネージメントと露出
まずLEDウォールの明るさ(被写体に対して与える影響ではなく、カメラに直接入ってくる光)に対してカメラの露出やライトの光量が決まってきます。
HDR対応の1000cd/m²以上のLEDパネルを使っている場合、ASA800のカメラで1/50だとF5.6〜8は確保できると思います。
(当然、背景フッテージの明るさや狙いの見え方にもよります)
その上で、
○ 使用するカメラの感度や設定・レンズの絞り値
○ ライトの物量と光量
に合わせてLEDパネルの出力を調整してからライティングを始めてください。
カラーマネージメント、と書くとACESだとか小難しい事を考えなければならないように感じますが、ICVFXやLEDスクリーンプロセスにおいて大切なことは、
- あたかもそこに、実際の世界が広がっているようにみえるかどうか
に尽きます。
そしてさらにいうと、実際の見た目でLEDウォールと被写体の色が合っているかどうかは全くあてにならず、カメラを通してモニターで確認した時に色や露出が揃っているかだけが重要になります。
当然、ライティングを行う上でキーライトやベース等のバランス調整は大切なのでそれを否定する意味ではなく、LED内の世界とスタジオにいる被写体の色と明るさはカメラを通した印象で調整せよ、ということです。
そのあたりはDITがハンドリングするべきで、特に実写映像を使ったLEDスクリーンプロセスに関してはDIT側でRAWデータから調整・送出するシステムを構築した方がクオリティに直結すると感じています。
Virtual Productionにおけるオンセットグレーディング
https://vook.vc/n/5332
LEDスクリーンプロセスの背景撮影時の注意点
LEDスクリーンプロセスに関しては多くの場合、背景素材を事前に撮りに行くことが多いと思います。ICVFXはCGが多いと思うので。
その際には、是非以下を参考にしてください。
① 撮影素材に余白をとっておく
→ スタジオでLEDスクリーンプロセスを行う際に、背景素材に余白がない状態だと、カメラを1ミリも動かすことができません, できれば収録画角の80%程度でカメラアングルを決めるようにしてください
② カメラワークについて具体的にシミュレートしておく
→ カメラがFIXではない場合に、背景素材をFIXで撮ってスタジオでカメラワークをつけるのか、背景で動いてスタジオはFIXで撮るのかを事前に考えておきましょう, 両方カメラワークしたら大変なことになります
③ フォーカスの置き位置は実際の被写体フォーカスと背景合わせの両方を撮っておく
→ スタジオ撮影時には被写体とLEDウォールに間に距離があるため、そもそもボケます, 背景がすでにボケている状態のものだけだと調整が効かなくなるので必ずフォーカスが合っている背景を撮影しておいてください
④ (できれば)背景映像の画出しをDITが担当する
→ LEDウォールに対するカメラの入り方によって、背景動画の位置や大きさ、台形補正(Yaw/Pitch)をカットごとに調整する必要があります
→ ③の通り、背景のボケ具合の調整も必要になります
→ 送出システムによると思いますが、LEDへのマッピングに使用するプロセッサーで諸々調整するより出し画の段階で調整しておいた方が楽です
⑤ 人物リファレンスやカラーチャートも忘れずに撮っておく
→ 人物の大きさの確認のため、人物リファレンス必須です, またLEDパネルのカラーマトリクスを補正する必要があるためカラーチャートを収録し、スタジオ撮影時に実際のカラーチャートとカメラを通して比較して色合わせをするようにしてください
まとめ
CMや映画案件でバーチャルプロダクションを提案または検討する際のちょっとした読み物として役に立てば、とおもいます。
ここに書かれていることは一般論(またはタキの主観)ですので、ケースバイケースでいろいろな問題やソリューションがある事を念頭に入れておいていただき、具体的な案件に関しては個別にその時のテクニカルディレクター的ポジションの方にご相談いただければと思います。
その他、ご質問等あればタキまでどうぞ。
この記事が気に入ったらサポートをしてみませんか？