【全米視覚効果協会2023】新技術賞まとめ
先日、2023年度の全米視覚効果協会賞をリストにまとめましたが、その中で一際気になる部門がありました。
それが新技術賞（EMERGING TECHNOLOGY AWARD）です。
詳しく読んでいくとかなり面白かったので取り上げてみます。
▼優勝：ザ・フラッシュ：
優勝したのはザ・フラッシュのVolumetric Capture（ボリューメトリック・キャプチャー）でした。こちらは、エズラ・ミラーを2人同時に撮影するシーンで採用された新技術です。
まずセットでは、エズラ・ミラーとボディダブルが2人で普通に演技して撮影します。この時ボディダブルは360度カメラで顔を撮影する機材を背負っています。
そして次に100個のカメラがある部屋でミラーが首から上だけ撮影します。それをボディダブルの顔に合成するのです。
この手法の強みは後日撮影でミラーは体を固定できるので、ミラーが最初の撮影素材を見ながら演技できることです。これのおかげであのテンポ良い言葉のキャッチボールが実現しているんですね。
スピードフォースに入った後の蝋人形のようなテクスチャを散々馬鹿にされた本作ですが、ミラーが2人登場するシーンの自然さは確かに素晴らしい完成度でした。それはこの新技術によって実現していたのですね。全米視覚効果協会賞 - 新技術賞獲得おめでとうございます！
次の新技術の話に移ります。
▼ブルービートル：
ブルービートルで使われたMachine Learning Cloth（機械学習衣服）は筋肉の動きと衣服の材質から、シワや光沢がどのように出来るかをシミュレーションして描画する新技術です。
しかし本作における機械学習衣服の真価はそこだけに留まりません。
制作チームは機械学習衣服によってスーツが身体に与える負荷を計算しました。これによってアニメーターが最初に指定した身体の動きの無理な部分を示したり、あるいは映画の序盤ではスーツと主人公のシンクロ率が低いために発生する身体のぎこちない動きを反映するという目的で使用されました。
この技術を導入することで、チェックして修正する工程が高速化されて、ブルービートルをフルCGで描画した場面のリアルさ向上に大きく貢献しました。
まあ物理エンジンによる動作シミューレートを一人のキャラの筋肉と衣服に適用できるようにした、というのがもっとも簡潔な説明になるかもしれません。映画を観ていてもアクションシーンの荒唐無稽さはさておき、キャラクターの動作や可動域についてはほとんど違和感がなかったですね。
▼マイエレメント：
マイエレメントで使われたVolumetric Neural Style Transfer（ボリューメトリック脳神経スタイル変換）は、炎を効果的かつ効率的に描くために開発されました。
この技術でアニメーターは、3Dモデルで描かれたキャラクターに、同じく3Dモデルで生成された炎のエフェクトを任意の強度で加えることができるようになりました。また、先にカメラの位置を決めることで可視範囲のシミュレートを優先するように最適化して処理速度のアップに成功しています。処理速後のアップはそのままコンピューターの使用時間に反比例するので制作費を抑えることに貢献しました。
そう言われてみると『マイエレメント』のファイヤーピープルのリアルな見た目は、これまでにありそうでなかったものでしたよね。やりたくてもコストの都合でできなかったけど、それを解決したという側面もあったのは注目すべきだと思います。
コンピューター グラフィックスでリアリズムを追求する場合、シミュレートされたガスの体積を制御することは依然として継続的な戦いですが、これらのシミュレーションから完全に魅力的なキャラクターを作成することは、ピクサー映画エレメンタルにおいて、この課題をまったく新しいレベルに引き上げました。主人公「エンバー」のような火のキャラクターの場合、顔と体は本物の火のように見え、動く必要がありますが、演技やパフォーマンスの感情から気を散らすほど熱狂的ではない必要があります。 ニューラル スタイル トランスファーは、これらの基準を満たす外観を実現するための重要なテクニックとして登場しました。 よりガス状で緩やかなパイロ シミュレーションを入力として使用することで、最近のニューラル スタイル転送 (NST) の進歩をボクセル自体に適用する GPU ベースの最適化プロセスを介して、より高周波の「カスプとカーブ」形状をボリュームに一貫して転送できます。 これらの転送された形状は、キャラクターのパフォーマンスを向上させる方法としてアニメーション化できる手描きのスタイルとパラメーターによって制御されます。 このプロセスの主な利点は、火災の最終形状が基礎となるシミュレーションから切り離されたことです。 これにより、シミュレーションでは低周波の動きと安定性に重点を置くことができ、NST では特にシルエット周りの造形の最終仕上げを行うことができました。 ユーザーは、速度入力を調整することで NST パターンの知覚速度を変更し、結果として得られるベクトル場をマスクすることで効果が最も強い場所を制御できます。 多くのビューから見ることを目的とした大規模な再利用可能なシミュレーションの場合、複数の様式化視点により過度の計算コストが追加されるため、NST は非実用的であることが判明しました。 これを解決するために、畳み込みニューラル ネットワークをトレーニングして、複数の視点を使用して代表ボリュームのスタイル化の最適化プロセスを近似しました。 そうすれば、はるかに安価なフィードフォワード ニューラル ネットワークを使用できるようになり、キャラクターだけでなく大規模な環境シミュレーションにも NST を導入できるようになります。
▼ウィッシュ：
ウィッシュで使われたDynamic Screen Space Textures for Coherent Stylization（動的画面空間テクスチャによるスタイル統一化）は、背景と人物を同じ質感にすることを可能にしました。
従来のアニメでは、背景は昔ながらの水彩画で緻密に描かれることがある一方で、人物はもっと簡略化された塗り絵（あるいは版画）のように一つの区画を同じ色で塗りつぶすような描画がされることが多かったです。
例えば宮崎駿監督のアニメが分かりやすいと思いますが、手描き時代の『となりのトトロ』でも最新作の『君たちはどう生きるか』でも、背景は写実的な水彩画である一方で、動く物やキャラクターはタッチが異なり漫画的です。
これはアニメが手描きだった時代からも作業の手間を減らすためによく採用された技法でしたし、CGが使われるようになった現在でも技術的な問題から採用され続けた技法でした。
しかしディズニー100周年の本作では、その壁に果敢に挑戦しました。
重要なのは紙に描いた水彩のようなテクスチャを人物に自然に適用することでした。これまでも静止した物体には活用されてきたようですが、今回は動く物体まで利用できるようにしたのが革新的だと言えるようです。ただし残念なことに、その具体的な内容まで書いてある記事や文献は見つけられませんでした。
プロダクション デザイナーのリサ キーンは次のように説明しています。「水彩画のような見た目と紙の質感があり、動くイラストです。 私たちは以前から水彩画の背景を作成する機能を持っていましたが、キャラクターに同じ外観を実現することはできませんでした。 開発されたツールのおかげで、CG でこれらのアイデアをすべて組み合わせることができるようになりました。 すべてが一つになるのを見るのはとても興奮しました。」
この映画の VFX スーパーバイザーであるカイル・オーダーマットと彼のチームは、動くイラストに命を吹き込むという映画制作者のビジョンを実現するためにも取り組みました。 彼らが望んでいた外観がまだ作成されていなかったため、このプロセスは困難でした。
「私たちは[紙に描いた水彩のようなテクスチャ]を作成しました」とオーダーマット氏は言います。 「静止しているものにはうまく機能しますが、動く画像ではパターンが静的なままである可能性が非常に高いため、非常に難しいことです。 この外観を作成するために私たちが考え出したイノベーションは、ダイナミック スクリーン スペース テクスチャリングと呼ばれています。」
▼まとめ：
はい、以上の4つの新機能が全米視覚効果協会が選んだものです。同じく最優秀賞を受賞したクリエイター創造者やアクロスザスパイダーバースなど作品全体のクオリティだけでなく、こうした新技術に特化した部門があるのが面白いですよね。
日本もこういう技術に特化した映画賞がもっと権威を持ってフィーチャーされてほしいものです。他部門については別記事でまとめましたので、そちらでご確認ください。
（了）
最後まで読んでいただきありがとうございます。ぜひ「読んだよ」の一言がわりにでもスキを押していってくださると嬉しいです！