UE5で音声から自動口パクが難しい
(つづき)DEEPMOTIONでFBX形式のアニメーションファイルをインポート
前々回のつづきから
ちょうど以下動画の開始位置からを参考に作業していきます。
既にDefaultのThirdPerson用のMannequinをレアちゃんにRetargetしているので、直接レアちゃんのSkeltel Meshを選択してRetargetしていきます。
遂にリターゲットですね。
多分できるはずなのですが、DEEPMOTIONで用意したデータが思い通りにインポートされたりされなかったりしたので、どんなときに上手くいくのかアタリを先につけることにしました。
その続きは明日にします。
(沼)リップシンクについて
Lip syncについては私の作品上手作業でつけてもいいと思っていたのだけど、今後のために自動的につけるべきだという考えに。そこで色々検討したことをここにまとめます。いずれも未検証で想像上のことなので注意して欲しいです。
DEEPMOTIONで表情もつける
ビデオから表情を読み込むので不気味になりがち。また演技力が必要?Casucaduerカスカドール(モーションを編集可能らしい)というソフトを併用すれば出てきたモーションの修正味付けが可能?
MocapForAll
これは2台のウェブカメラがあれば全身も表情もモーションキャプチャーしてくれる。すごい!でも現状FBX形式では表情はインポートできないそうだ。どうしてだろう?
iClone8
すごい3Dキャラクター制作ツールだ。私にはリッチすぎる感じがする。
UEでバージョンを落としてOculusLipSyncというプラグインを使う
他にソフトを噛ませなくてもできるので一番シンプルでいいなと思う。でも最新バージョン5.0.3に対応するものが見つからない。4.27.2で入れてみようとしたけど上手くいかなかった。4.26ならいけるかもしれない。でもやっぱりUE5の方が光の色が何もしなくても綺麗かなと思うので最新で作りたい。何か方法はないのか?
こちらの記事がその解決になるかもしれません。
Blenderのプラグイン
これは試してみる価値があると思う。
ただ口の動き”だけ”を持ってきて体の動きは他のソフトのものを使うということがどこまで柔軟に可能なのかよくわからん。
この記事が気に入ったらサポートをしてみませんか?