UE5で音声から自動口パクが難しい

（つづき）DEEPMOTIONでFBX形式のアニメーションファイルをインポート

前々回のつづきから
ちょうど以下動画の開始位置からを参考に作業していきます。

既にDefaultのThirdPerson用のMannequinをレアちゃんにRetargetしているので、直接レアちゃんのSkeltel Meshを選択してRetargetしていきます。

遂にリターゲットですね。

【UE4】アニメーションの作り方【初心者目線】

多分できるはずなのですが、DEEPMOTIONで用意したデータが思い通りにインポートされたりされなかったりしたので、どんなときに上手くいくのかアタリを先につけることにしました。

その続きは明日にします。

（沼）リップシンクについて

Lip syncについては私の作品上手作業でつけてもいいと思っていたのだけど、今後のために自動的につけるべきだという考えに。そこで色々検討したことをここにまとめます。いずれも未検証で想像上のことなので注意して欲しいです。

DEEPMOTIONで表情もつける

ビデオから表情を読み込むので不気味になりがち。また演技力が必要？Casucaduerカスカドール（モーションを編集可能らしい）というソフトを併用すれば出てきたモーションの修正味付けが可能？

様々なキャラクターのモーションを作成するCascadeurのインストール手順 - MRが楽しい

MocapForAll

これは2台のウェブカメラがあれば全身も表情もモーションキャプチャーしてくれる。すごい！でも現状FBX形式では表情はインポートできないそうだ。どうしてだろう？

MocapForAll｜空き家総研VRラボ　(株)空き家総合研究所 システム開発部門

iClone8

すごい3Dキャラクター制作ツールだ。私にはリッチすぎる感じがする。

UEでバージョンを落としてOculusLipSyncというプラグインを使う

他にソフトを噛ませなくてもできるので一番シンプルでいいなと思う。でも最新バージョン5.0.3に対応するものが見つからない。4.27.2で入れてみようとしたけど上手くいかなかった。4.26ならいけるかもしれない。でもやっぱりUE5の方が光の色が何もしなくても綺麗かなと思うので最新で作りたい。何か方法はないのか？

こちらの記事がその解決になるかもしれません。

Blenderのプラグイン

これは試してみる価値があると思う。
ただ口の動き”だけ”を持ってきて体の動きは他のソフトのものを使うということがどこまで柔軟に可能なのかよくわからん。