CG合成サービス『Wonder Studio』の将来像とは
Wonder Studio 概要
実写映像の人物をCGキャラクターに置き換えることのできるサービスWonder Studioは、その手軽さと品質の高さから、とても話題になりました。こちらのサービスを実際にテストしながら、現時点の性能や将来的な予測を立てていきたいと思います。
【要点まとめ】Wonder Studioで出来ること
ドラック&ドロップするだけで実写映像の人物をCGキャラクターに置き換えてくれる
キャラクターはWonder Studioが準備しているプリセットを使えるほか、自分のオリジナルモデルもアップロードできる
実写映像のモーションを3DCG用モーションアセット(FBX)として書き出せる
書出しは4Kまで高解像度で可能
使い方の詳細
サービスの全体的な使い方は、他にも既に詳しい記事が出ているため、参考リンクを記載します。
技術テスト
技術テストでは、以下の3つを行いました。
実写映像からプリセットCGキャラクターへの置換え
オリジナルCGキャラクターの適用
実写映像からモーションを抽出し3Dキャラへ適用
実写映像からCGキャラクターへの置換え
オリジナルのキャラクターのアップロードでは、全身のリグのほか顔の表情もセットすることができます。セットアップ自体はある程度の知識があれば難解ではなさそうですが、自然な動き・表情にするための3Dの作り方にテクニックがいるという点では、技術が求められるかもしれません。
実写映像からモーションを抽出し3Dキャラへ適用
Wonder Studioには、動画の動きを検出して3DCG用のモーションを書き出してくれる機能があります。上の動画では、その機能を使ってCGキャラクターに適用した例、動画を見ながら手付けでモーションをつけた例を比較しています。
一部、動きに違和感が出てしまう部分もありましたが、動画から自動で動きをここまで検出してくれるとは、思ったよりも精度が良く感動しました。プロレベルの納品物としてそのまま使うことは難しいかもしれませんが、プロトタイプや個人の作品で遊んだりする分には十分有効だと感じます。
その他
権利等の問題からここに載せることはできませんが、他さまざまな実写動画素材をアップロードしてテストを行いました。中には、変換を苦手とするものもあり、本格的に導入を検討する場合には注意が必要そうです。
特殊な服装を着た人物/ものを手に持っている
たとえば特徴的な帽子をかぶっていたり、特殊な制服を着ていたりと、かわった服装をしていると変換後に思うように元の人物が取り切れない場合があります。また、何か手に持っている場合などは、キャラの等身によっては位置がずれてしまいます。
フレームインアウト
変換したい対象人物が常に動画のフレーム内に収まっているのが理想的です。フレームイン/アウトする場合、インアウトの瞬間のフレームでご認識が起こりやすいように感じました。
細かい背景
キャラクター変換後の背景の穴埋め、人物の消込を自動で処理してくれるわけですが、あまり細やかな背景だと、精度の甘さが目立ちます。
Wonder Studioでどんなことができそうか
誰でもVFX映画を作れる/動画クリエイターにも変化が？
これだけ簡単にVFX合成ができるようになれば、誰でもオリジナル特撮映画を作れるようになる未来も遠くないかもしれません。私自身、3DCG自体は身近なもののVFXは専門外のため、CG合成が主の映像作品を作ってみようと思ったことはありませんでした。それでも、Wonder Studioには、試しにVFX短編ドラマを作ってみようかな、という創作意欲を刺激されるものがあります。
いずれ、実写特撮ドラマを配信するYouTubeや、TikitokでCG合成キャラダンスを披露する人なんかも出てくるかもしれませんし、今後１０年の動画文化の変化には注目したいと思います。
実写合成マーケットプレイス&コミュニティ
Wonder Studioには、Coming Soonのマークと共に、マーケットプレイスを準備してる様子が伺えます。詳細はわかりませんが、もしかすると対応するキャラクターやアセットをクリエイターが販売できる仕組みが出来てくるのかもしれません。そうなると、実写合成用キャラIPの販売が、ひとつのビジネスになっていくのかもしれません。
バーチャル⇔リアルの往来ワークフロー
実写からCGへ、CGを実写へ持ってきたりと双方向のワークフローが出来上がることにより、ひとつのIPで実写とCG両方のコンテンツを作るなど、リアルとバーチャルが融合した何らか面白い仕かけができるかもしれないと感じました。
実写だけでなくフルCGへの展開も？
今は特に何の発表もされているわけではありませんが、将来的には背景を含めたフルCGへの展開も考えられるのかもしれません。キャラクターを3DCGキャラで置換するアプローチは、安定させづらいAIよりも、意外と良いのかもと思っています。
Wonder Studio関連リンク
Wonder Studio公式サイト
公式リンク＆紹介
XR・メタバース・ゲームからAIまで、バーチャルカルチャー全般のR＆D、企画制作、コンサルティング等を行っています。よろしければチェックいただければ幸いです。
この記事が気に入ったらサポートをしてみませんか？