見出し画像

【Warudo】リップシンクの設定

今回はお友達に「noteに書け」と脅された勧められたので記事にするよ!

設定方法はこちらの動画を参考にやっていくよ!(英語)
https://youtu.be/blIU1OLBLN4?si=WdiGUq6UIH1O-ooY

リップシンクを使うためには、もともと設定してあるモーションキャプチャーの設定を削除しないと使えない?っぽいので最初のセットアップから説明していくよ!
(すでにトラッカーの設定など済ませている場合は「セットアップ」は読み飛ばしてね)

セットアップ

まずはwarudoを開いたら出るこの画面の一番上、基本設定の「始める」でキャラクターを選んで「OK」

今回はプリセットのSipilkaを選びましたが、自分の使いたいモデルがあれば「キャラクターフォルダを開く」で表示されるフォルダの中にVRM形式のモデルを入れたら使えるようになります。

モーションキャプチャーの設定というのが出るので「はい、お勧めしてください」を選んで「OK」

自分の環境に合わせて質問に回答、今回はwebカメラを使用するのでこんな感じ。

上半身のトラッキングなくてもいいかも
回答に合った設定をおすすめしてくれる。

「フェイストラッキングをカスタマイズします…」を押して詳細を開く

BlendShape映射は自分の使うモデルに合わせて設定してみる。
(自動的に選択されるみたいなので、わからなければそのままでもいいかも?)

一番下にスクロールして、リップ同期のところを「永続的に有効」マイク台に使いたいマイクを選ぶ。
ハイブリッドモードは今回は「はい」の方を選んでみる。(必要ありませんって書いてあるからいらなかったかも?)

「OK」を押して読み込みが終わると、「表情のインポート」が出るので「インポートします。」を選んでまた「OK」
背景の設定はお好みでどうぞ、今回は「既存の背景を維持します。」にしました。

セットアップ終了!

シピルカくんかわいいね

ある程度設定してある人向け

キャラクター>モーションキャプチャーの中に「リップ同期設定」がなければ新しくシーンを作り直さないとリップシンクは使えないみたいなので、別名保存をして作業するのがいいかも?

リップシンクが使える状態

リップシンクを使えるようにする

まずキャラクター>モーションキャプチャーの一番下にある「モーションキャプチャーを削除」を押して設定を消す。

「モーションキャプチャーの設定」から新しく設定していく
フェイストラッキングテンプレートは以前使っていた設定と同じものを選ぶ。

今回はwebカメラを使うので「MediaPipe」を選択
一番下にスクロールして、リップ同期のところを「永続的に有効」マイク台に使いたいマイクを選ぶ。

セットアップのときと同じ画像だけどこんな感じ

ポーズトラッキングの設定は必要なければ「なし」その他は自分にあったテンプレートを選ぶ

これでリップシンクを使えるようになった!

リップシンクの設定

キャラクター>モーションキャプチャーの中にある「リップ同期設定」を開くとブループリントの画面になる。

「リップ同期アニメーションを生成する」の中「キャリブレーション」を押して設定していく。

キャリブレーション音素の選択は「AIUEO」のまま「OK」

次に案内に従って実際に声を出して「あいうえお」の順番でキャリブレーションしていく。

終わったら名前をつけて保存。
これでリップシンクの設定おわり!