バーチャルプロダクションの正しい理解と活用法 ー その６
去る6月26日（月）18:30より東京都千代田区のWATERRASCOMMONホールにて開催された6月開催VFX-JAPANセミナー「バーチャルプロダクションの正しい理解と活用法」の内容について、続きの投稿です。
もし、まだ前投稿をお読みでない場合は、以下をご参照ください。
前投稿では、バーチャル・プロダクションという新しい制作手法について向き合っていく中で、まず日本の映像制作においてデジタル技術がうまく使えているのかという課題について考えてみました。
本投稿では、それに続き、バーチャル・プロダクションに取り組むための心構えについて考えてみたいと思います。
２）バーチャル・プロダクションを受け入れる心構えとは何か？
このシリーズにおいてずっと言っているように「バーチャル・プロダクションはDXの積み重ね」です。そして、DXを行う際に必要なことは「何が問題であり、その問題をデジタル技術を使ってどう解決するか」です。
日本はデジタル化が遅れていると言われています。それは映像業界だけでなく、一般的な社会においてもそうです。日本にはソニーやパナソニックなどのような世界的にも優秀な技術を持つ企業がたくさんあるにも関わらず、現状、皆さんが感じておられるようにデジタル化は進んでいません。
マイナンバーカードの問題においても、結局は入力方法の不徹底や入力ミスなどの人為的な要因がほとんどです。「そんなの、デジタルで対応できんだろ」って思うことができていないんですね。それはなぜなんでしょうか？
私も色々な企業とIOTやDXについて取り組んできて、一番感じるのは「システム優先」ということです。「このシステムを入れることで効率化できる」と言われることが非常に多いのです。導入後に何か問題が出てきても「システム管理に問題がある」とか「利用者がうまく使えていない」とか、システムは良いのにそれを取り巻く人たちに問題があるかのような言いようです。
確かにシステム自体は素晴らしい機能が揃っています。それは、先ほども言ったように日本には非常に優れた技術を持つ企業が多く、彼らが作るものは世界的に一級品だからです。じゃあ、使う側の問題かということになりますが、全くその通り。でも、システムを管理している人や使っている人が悪いわけではないんですね。要は「なんでそのシステムが必要なのか？」「何の問題を解決するためにそのシステムを入れるのか？」といった目的がないことが大問題なんです。
バーチャル・プロダクションも同様です。
LEDウォールを構築することを考えた場合、そりゃソニーのCrystal LEDをふんだんに使って巨大なLEDウォールを建て、コントローラにはdisguiseのシステムを使えば、完璧なスタジオができるでしょう。そこで撮影を行えば、ディズニーのマンダロリアンに劣らない映像制作も可能です。
でも、その前に「何のために？」ということを考えるべきなのです。
単純にタレントさんの背景に綺麗な景色を出したいだけだったら、書割り（パネルや板などに紙や布を張り、風景や建物といった背景を描いたもの）でも用は足りてしまうかもしれません。背景をムービーやCGで出したいとしてもクロマキースクリーンで対応できるかもしれません。巨大なLEDウォールじゃなくても、タレントさんが隠れる程度の小さなものでいいかもしれませんし、プロジェクターによるスクリーン投影でもいいかもしれませんね。
このように、背景を出すというだけでもさまざまな方法があり、LEDウォールでなければならない理由がないのであれば、どれを使ってもいいんです。そこには予算や準備のプロセスなど、制作における様々な要因やしがらみがあるわけですから、それに応じて選択するべきです。それができていないと、DXは生じ得ません。
問題は何で、それをどう解決するか？
それこそがバーチャル・プロダクションをする上で、最も重要なことなのです。
問題を解決できるデジタル技術にはさまざまなものがありますし、日々どんどん開発が行われて進化しています。
例えば、最近話題になっている生成形AI。
ニュースなどでは、使う際の問題点ばかりが取り上げられていますが、さまざまな問題解決に利用することができます。
カルフォルニア大学が2020年3月に発表したNeRF（Neural Radiance Fields）という新しいAI技術があります。これはさまざまな角度から撮影した複数の写真から、その空間の三次元形状を復元し、3Dシーンを生成するというもので、フォトグラメトリーと似ていますが、空間を復元すると点でちょっと違います。
元々計算には時間がかかっていましたが、グラフィックスカードで有名な企業NVIDIA社が処理計算を高速化した「Instant NeRF」を2022年1月に発表し、急激に利用が拡大しました。ハンバーガーチェーンのマグドナルドが2023年の正月にCMを作り、話題にもなりました。
NeRFがすごいのは、透明や反射など、その空間の光の状況も含めて構築できるところです。また、フォトグラメトリーでは数百枚の画像が必要ですが、NeRFはAIを使うことで少ない枚数の画像でも構築ができますし、ムービーを使うことも可能です。
Preferred Networks社が取り組んでおられるNeRFを使った4D SCANを紹介しましょう。
このデータは10台程度のカメラで撮影したムービーを処理して構築した空間データです。もちろん３Dデータですので、自由に視点を移動することが可能です。
バーチャル・プロダクションを行う上で、一番問題になるのは背景データの構築です。日本では、合成用のCGデータの作成は撮影後に行うことがほとんどであり、撮影前に出来上がっていることはまずあり得ません。仮にプリビズを行っているとしても、最終的なデータではないので撮影時の背景として使うことはできません。立派なLEDウォールがあっても、そこに出す映像がないのです。
もし、NeRFを使って短時間で実写映像から背景データを構築できれば、この背景の問題が解決できるかもしれません。
「そんな中途半端に作った背景だと後で差し替えが必要となるのではないか」という懸念があるでしょう。だとしても、同じような光空間を持った背景であれば、マスク処理を精細にしなくても差し替えは可能となります。照明や色味が同じだけ、合成のクオリティを高めることができるでしょう。マンダロリアンの制作でも背景差し替えは頻繁に行われているようですが、そのような理由からクロマキー合成などに比べて手間がかからず、効果絶大であろうと思われます。
Preferred Networks社のサイトには、水族館の水槽をNeRFを使って構築された例も紹介されています。
水中は光の屈折などもあり、フォトグラメトリーでも難しいですが、見事に空間を再現されています。正直、これには本当に驚きました。
これは、映像制作だけではなく、さまざまな用途で活躍できる技術だと思います。
このように、生成形AIと言ってもフェイクムービーのような使い方ではなく、さまざまな活用ができるのです。
生成形AI以外にも、問題解決に活用できる技術はたくさんあります。
・ モーションキャプチャ
・ モーションコントロール（カメラトラッキング）
・ ゲームエンジン（UnrealEngineやUnityなど）
・ フォトグラメトリー（デジタルスキャン）
・ ボリュームメトリックス
他にも紹介し出したらキリがありません。上記技術についても、説明し出したらそれこそ一つ一投稿になってしまうので、今回は控えます。また機会があれば紹介できればと思っています。
映像に関わるデジタル技術はたくさんあります。
そのような技術を問題解決のためにどう活用し、映像制作のパイプラインをより良いものに構築するか。
それこそが、バーチャル・プロダクションを適切に実現するために必要な心構えなのです。
本投稿では、バーチャル・プロダクションを実現するための心構えについてお話をしましたが、いかがでしたでしょうか？今までこのお話をさせて頂くたびにご意見としていただくのが、そういうアドバイスができる人材がいないということです。デジタル技術は非常にたくさんありますが、すべての技術に精通して、映像制作についても詳しく、パイプラインを構築することができる人材というのは、まだ日本にはほとんどいません。世界的に見ても、まだまだこれから育成すべき人材です。
そのような人材を育てていける環境を構築できたらと切に思うところです。
次投稿では、VFXなどの実写映像だけでなく、アニメ制作やVR映像制作にバーチャル・プロダクションを活用するにはどうすればよいか、考えてみたいと思います。
P.S.
発表資料をご参考までに添付します。
この記事が気に入ったらサポートをしてみませんか？