OVRLipSyncをUnreal Engine 5で使いたい（続2）最終回
ぐ、、め～～～にん💞🐐やぎめです！
今日も昨日の続きから！！
OVRLipSyncをシーケンサー内で動かして動画を撮ろう！
見よう見真似でAnimationBPにModifyCurve追加
おえおえ💦
Animationが消えて手足がピーンとしたTポーズになりましたね。
別のlevel開いたら直りました。不思議＆めんどい
AnimationBPを編集してCompileすると一時的になるのかもしれません。大丈夫！（この後なぜかならなくなりました。この辺のアニメーションの挙動が不安定・・・）
シーケンサーで動かした様子を以下の動画にまとめました
色々やりました結果をこの動画で入れました。ところどころ1.5倍速です。
Sequencerからの出力に対する問題点・疑問点
FHD出力
4K出力
FHD出力と４K出力では口パクのモーションが違う
4Kの方は最後の方は（勝手に）口パクをやめているのです。
⇒多分CPUかGPUのスペックの問題。他のソフトを立ち上げながら出力するともっとひどくなるので。まあFHDでいいとしても、今後FHDでも厳しくならないか不安ではある。
最後に
OVRLipSyncLiveActorComponent.cpp の UOVRLipSyncActorComponent::VoiceCaptureTimerRate とかまでいじって、シュミレーション時の口パク結果には満足いくものの、書き出して出力したときの口パクの不安定さが気になった。
そもそもOVRLipSyncの情報が少なく、あっても2020年より前だったりですこし古い。需要がないのだろう。
おそらく他のフェイストラッキングソフトから読み込んでUEに取り込むのが一般的なのではと思った。
なぜそう思うかというと、Live Link機能というものをこの一連の作業で知ったからである。モーションデータを記録できる機能Take RecorderとLive Link機能を合わせればVTuberのLiveの動きをアニメーションとして記録できる。
そのアニメーションを使って色んな画角から撮影が可能であれば、音声トラックからの口パクつけは不要だろう。
という訳で次はMocapForAllの試用版を試して、上手く取り込めるのか確認したいと思う。
この記事が気に入ったらサポートをしてみませんか？