新機能！nizima LIVEリップシンク解説！！

こんにちは、Live2D noteです。
今回はnizima LIVEの1.5新機能『リップシンク』について解説致します。
1.5の目玉機能になりますので是非1度触れてみてください！
※こちらの記事はnizima LIVE1.5時点での情報を記載しています。

目次

• リップシンク機能とは

• 初心者向けリップシンクの使い方

• 各機能解説

• リップシンク機能の使用用途

• 最後に

リップシンク機能とは

マイクから入力した音声に合わせてLive2Dモデルを動かすことのできる機能です。
主にLive2Dモデルの口の動きに使用します。

カメラでうまく口の動きを拾えない時でも、リップシンク機能を使うことでより精度の高い動きを実現することができます。

「パラメータ設定」＞「その他設定」からリップシンクの機能を有効にすることが出来ます。

Live2Dモデルの口の動きに関するパラメータをリップシンクの項目に紐づけて制御できます。

初心者向けリップシンクの使い方

とりあえずリップシンク機能を試してみたい！という人向けの説明です。

「パラメータ設定」＞「動きの設定」から「口」の項目を確認して口パクと口の横幅にパラメータが紐づけされているのを確認して下さい。

※口のパラメータ名はモデルによって異なる場合がございます。

次に「パラメータ設定」＞「その他設定」＞「リップシンク」から以下の3つを設定します。

• リップシンクを有効にする　を有効にする

• 「口パク」「口の横幅」をリップシンク対応する　を有効にする

• 入力デバイスを選択する

設定後マイクに向かって喋るとモデルの口がリップシンクで動くようになります！

各機能解説

リップシンクを有効にする
リップシンク設定のオンオフを切り替えます。
オンオフの状態は次回起動時も保存されます。

「口パク」「口の横幅」をリップシンク対応する（初心者向け機能！）
「動きの設定」の「13.口パク」「14.口の横幅」に紐づけているパラメータをリップシンクで動かします。
この機能をオンにしている時、動きの設定の対応する箇所に【リップシンク対応中】とでます。

この機能を有効にした時の「口パク」「口の横幅」はそれぞれ「リップシンク（縦）」「リップシンク（横）」と同じ機能になります。
初心者向けの機能で、パラメータの付け替えをしなくても良くなる分自由度が減りますので、変形はカメラでトラッキングして開閉だけリップシンクにしたいなどの細かい設定をしたい方は設定をオフにしてリップシンクカテゴリのそれぞれにパラメータを紐づけましょう。

入力デバイス
使用するマイクを選択します。

入力ブースト
入力音声の感度を調整します。入力音量が小さい場合は、スライダーを上げることで調整できます。

入力しきい値
しきい値以下の音声をカットします。小さいノイズや環境音をカットしたいときに使用します。
下のバーが光ってるところが入力音声です。
何も喋ってないのに光っている場合それはノイズになるので、調整バーをノイズより右側に来るよう設定します。
音の大きさはしきい値を超えていたら問題なく動くため、最大までバーが振り切らなくても問題ないです。
設定がうまく出来ていないと、ノイズに反応してリップシンク機能が反応してモデルの口が開いてしまいますので注意して下さい！

入力がしきい値以下のときにカメラを使用する
声が入っていない状態の時カメラトラッキングを使用します。これにより驚き口やあくび口などの表現ができるようになります。

口が閉じるまでの時間
音声の入力がなくなってから口が閉じるまでの時間を調整します。
0msの場合は音声がなくなるとすぐに口が閉じます。
こちらを設定すると、機械っぽいパクパクとした感じの動きが緩和されるので100～300msの間で設定するとリアルの口の動きに近づけます！

感度調整（オススメ機能！）
自動設定と手動で設定が可能です。
自動設定では「自動設定」ボタンを押し指示に従って声を出すと自動で入力値倍率を調整できます。

手動で設定する場合は入力値倍率のバーを調整します。
母音の音をそれぞれ調整でき、例えば（あ）の出力が出にくい場合、倍率を高くすると出やすくなります。
自動設定を行ったあとにモデルの動きをチェックし、手動で微調整すると簡単に設定ができるのでオススメです。
調整後は、リップシンク出力確認でそれぞれ発音どおりの結果が出ているかを確認して下さい。 反応が悪い場合は、対応する入力値倍率のバーを少しずつ上げて様子を見て下さい！

リップシンク機能の使用用途

リップシンク専用のモデルを作らなくても、口の開閉パラメータにリップシンク機能を使うだけでも動きの表現に選択肢が増えます。
カメラトラッキングの時うまく口が動かないと感じた人や、音声に合わせてモデルのギミックを動かしたい人などに是非試して頂きたいです！

※イベント会場等、雑音が多い場所ではうまく使うことが出来ないため注意して下さい！

最後に

いかがでしたでしょうか？
リップシンク機能が、VTuber活動などの手助けになれば幸いです！
これからもどんどんとアップデートを予定しているnizima LIVEを是非ともよろしくお願い致します！

nizima LIVEを無料でダウンロード／アップデートする
nizima LIVE有料プランを購入する
nizima LIVE公式サイトはこちら