簡易的なモーションキャプチャ,フェイシャルキャプチャを利用した映像のワークフロー
初めましてcoletです。
先日ノンブレス・オブリージュ / ピノキオピーの自主制作映像をあげました。
自分としては初めてのモーションキャプチャとフェイシャルキャプチャを使用した映像だったのでそのワークフローを備忘録として残しておきます。
興味ある方の1mmでも参考になれば幸いです。
※基礎的かつ独学で正確性の保証の無い内容です。
※あくまで制作の流れなので個々のツールやプラグインの使用方法は各々調べてください
※初中級者向けです。
<FANMADE>
— Colet (@Coletaep) March 1, 2024
ノンブレス・オブリージュ / ピノキオピー -初音ミク #b3d #aftereffects pic.twitter.com/M32l3fM6h7
モーションキャプチャ
今回モーションキャプチャには正面の映像からモーションを起こせる[Quick Magic]を使用しています。
正面からの映像だけにも関わらず綺麗にモーションを取ってくれる+映像系モーションキャプチャの大きな課題と感じていた地面と足の接地がとても綺麗でした。
ただモーションの飛びやブレは稀に存在してるのでそこら辺は用調整です〇
(手のキャプチャは対応していないのでここは手付けの必要があります。)
当初は並行してずっと情報を追っていた同じ映像系モーションキャプチャの[MoveAI]の使用を検討していましたが、使用の難易度,コスト,の点から今回は[Quick Magic]を選択しました。
(今回スケジュールの都合で空いた3日で作り切るつもりだった為導入のしやすさに重点を置いて選びました。)
ただ、[MoveAI]キャプチャ性能も凄く高く手のキャプチャも対応してるらしいのでとても使ってみたい。
model
今回charactermodelには[arsk sandbox project]様の[air]を使用しています。
※[arsk sandbox project]様にソリッド、ボーンが写ったスクリーンショットの使用に問題がないことを確認しています。ありがとうございます。
リターゲット
モーションキャプチャのデータを落とす際に従来のインポーターだと上手く行かない場合が多いのでインポートにはBlenderアドオンの[Better Fbx Importer]を使用しています。
QuickMagicからBlenderにfbx形式で落とし、それをBlenderアドオンの[autorigpro]を使用し[air]に地道にボーンを割り当てリターゲットしています。
また、髪のボーンには[Gravity Collider Physics Plugin]を使用して物理演算で動いたときに揺れる様にしています。
ショートカット+激しい動きが無い+至近距離のショットが無いので違いはほぼ皆無でした。
フェイシャルキャプチャ
今回フェイシャルキャプチャにはPeko様の[Facemotion3d]を使用しています。
今回Blenderへのリアルタイムの送信では無く、
音源を聞きながら口パクをしたものを記録→txtファイルにエクスポートし、
それをBlender上でベイクしています。
フェイシャルキャプチャに必要なリグ,シェイプキーの作成には[Faceit]を使用しています。
このアドオンで比較的簡単にリグ,シェイプキーの作成ができます。
作成したシェイプキーを1ずつ確認し、おかしいところを手直しして整えていきます。
合体
最後にモーションキャプチャとフェイシャルキャプチャのデータを合わせて行きます。
と言っても既に顔にシェイプキーが存在しているmodelにモーションをリターゲットしているので、リターゲットしたモーションとフェイシャルキャプチャのキーのタイミングを合わせるだけです。
Blenderのシーンに配置
配置。
最後
後はレンダリングしてAEでコンポジットして完了です。
冒頭にも書きましたが基礎的かつ独学で正確性の保証の無い内容ですので間違ってる箇所等ありましたら申し訳ないです。
でも作れたので何とかなるはずです。
今後人を使用した映像ではQuick Magicの他に前述したMoveAIやリアルなモーションキャプチャスタジオでのモーション収録、
ボリュメトリックキャプチャを使用した映像.VFXを作ってみたいです◎
アニメーターの方と一緒に作るのも超楽しそうです。
また今後の作品も見て頂けると幸いです〇
この記事が気に入ったらサポートをしてみませんか？