合成音声でVtuberのような動画を作る方法
ドーモ、こんにちは
ニンジャヘッズきりたんのイガラシです
今回はLive2Dモデルを使った合成音声動画の編集方法について、ご紹介したいと思います
こちらの動画を文章に起こしたものですので、お好みの方法でご覧ください
めんどくさそうに見えるLive2Dですが、意外と簡単に作れるので、ぜひ最後まで見ていってください
必要なもの
まず必要なもの一覧です
PCとか合成音声ソフト、動画編集ソフトとかの基本的なものは省略します
Vtube studio
Live2Dモデルをwebカメラを使って動かすためのソフトです
Steamからダウンロードしてください
基本無料ですが、無料版は左下にミニキャラが飛んでいます
非表示にしたい場合は、VTube Studio - Remove Watermarkを購入しましょう
Live2Dモデル
今回は「春日部つむぎ公式live2Dモデル」を使用します
公式サイトから無料で配布されていて、とてもクオリティーが高いモデルとなっております
他のキャラクターを使いたい場合、Live2Dモデルの中でも、VTube Studioに対応しているものを選ぶ必要があります
私が探した限りですが、残念ながらVTube Studioに対応しているものはあまりないようです
録画ソフト
なんでもいいです
私はOBSを使用しています
webカメラ
こちらもなんでもいいと思います
私はこちらのカメラを使用しています
Amazonで約4000円でした
仮想オーディオデバイス
VTube Studioで合成音声のセリフに合わせて口パクさせるために必要になります
VB-CABLEを使用します
zipファイルをダウンロードして展開後VBCABLE_Setup_x64.exeを起動してインストールしてください
PCの再起動が必要です
これで準備は整いました
早速ですがVtube studioを起動してみましょう
モデルのインポート
まずはモデルをインポートします
まずダブルクリックでメニューを表示します
下画像に従い
①一番上の人型のアイコン
②自分のモデルをインポートをクリック
③フォルダを開くをクリックして開いたフォルダに、ダウンロードした春日部つむぎちゃんのLive2Dモデルのファイルを全て入れます
はい、これでモデルがインポートされたはずです
Vtube studioを再起動してください
これでインポートは完了です
モデルの読み込み
先ほどの人型アイコンから、インポートしたモデルを読み込みます
(「Live2Dモデル春日部つむぎ」は自動セットアップ不要）
これでLive2Dモデル春日部つむぎが読み込まれたはずです
基本的な操作方法は以下になります
全く動かない場合は
ダブルクリックでメニューを表示し、上から三番目の鍵アイコンをクリックして固定を解除してください
もう一度クリックすると固定されます
モデルの表示位置を動かしたくないときは、これで固定できます
カメラの設定
次は、カメラを設定してモデルを動かしてみましょう
メニュー画面から、歯車アイコン→上部のカメラアイコンをクリック
Webカメラトラッキングの設定画面が開きます
カメラを選択するから
接続しているカメラを選択
解像度：1280×720
FPS：30
フォーマット：MJPEG
を選択します
これで設定完了です
カメラをONにしましょう
これでトラッキングが開始されたはずです
頭を動かして確認しましょう
校正(キャリブレーション)を押すと現在の自分の表情や顔の向きが基準になります
正面を向いて無表情でキャリブレーションを押しましょう
また自動スタートをオンにしておくと次回起動したときにカメラが自動でオンになります
トラッキング設定
カメラ設定の下の方にトラッキング設定があります
各種トラッキング感度が調整できますので色々いじってお好みの調整を見つけてみてください
例えば目を開ける感度をMAXにすると、目がぱっちり開きます
あとまばたきの両目同時化を常に両目同時にするを選んでおくと勝手に片目を閉じてしまうことがなくなります
ウインクをさせたい場合は後でご紹介する、表情の変更で行うのがオススメです
モデルの調整
次にモデルの細かい調整をしていきます
カメラ設定の右の人型のアイコンをクリックします
右上のNo Iconを押すとアイコンが設定できます
「春日部つむぎ公式live2Dモデル」の場合はアイコン用の画像が用意されているので設定しておきましょう
少し下にスクロールして、移動の設定(ガチ恋距離)を設定します
これはカメラに近づくと拡大、遠ざかると縮小のようにモデルを動かすことが出来るのですが、使いたくない場合はオフにしましょう
さらに下に行くと物理の設定や
各パラメータの設定ができます
(Face Lean Rotationは首を左右に動かすパラメータ）
なんか挙動がおかしい場合やお好みで変えたい場合はここから変更したいパラメーターを探して調整してみてください
今回は試しに、デフォルトの顔の角度を調整してみます
春日部つむぎの立ち絵はちょっとポーズをとっていて、顔が斜めになっています
このままでも別に問題ないですが、今回は体と首をまっすぐにしてみます
Face Lean Rotationのパラメータを以下のように変更します
これで首がまっすぐの状態がデフォルトになりました
もっと細かい調整をしたい場合はLive2Dのエディターでモデル自体を変更する必要がありますが、こちらのつむぎちゃんモデルは加筆、加工が禁止されていますのでご注意ください
リップシンク
VB-CABLEの設定
VB-CABLEを使用し、リップシンクの設定を行います
VB-CABLEをインストールしたら
タスクバーの音量設定のところを右クリック
サウンドの設定をクリックして開きます
出力デバイスのところでCABLE inputを選択してください
このままですと音が聞こえなくなるので、サウンドの詳細設定を開きます
録音タブを開き、CABLE Outputを右クリック、プロパティをクリックします
聴くのタブを開き
このデバイスを聴くのチェックボックスをOn
下のこのデバイスを使用して再生するから、お使いのスピーカーを選択して、OKをクリックしてください
これでVBケーブルを使用しながら、音を聴くことが出来るようになります
Vtube studioの設定
次はVtube studio側の設定を行います
メニューの歯車アイコン、左上の歯車アイコンをクリックして
下へスクロールしていくとリップシンクの設定があります
マイクを使うをオンにして
その下のマイクのところからCABLE Outputを選択しOKを押しましょう
MouthFormとMouthOpenを変更
次に左上の人型のアイコンをクリックします
下の方へスクロールしていって、MouthFormを探します
「IN」をクリックし「VoiceFrequencyPlusMouthSmile」を選択します
次にMouthOpenを探しましょう
すぐ下にあるはずです
「IN」をクリックし、「VoiceVolumePlusMouthOpen」を選択します
リップシンクの設定
先ほどの歯車アイコンからリップシンクの設定に戻ります
リップシンクの種類をクリックすると普通のリップシンクとマイクロリップシンクの2種類が出てきます
マイクロリップシンクは最近のアップデートで追加された機能で普通のリップシンクよりも滑らかに動きます
通常こちらで問題ないと思いますが、モデルによっては普通のリップシンクの方がいい可能性があるので、そちらの設定も紹介しておきます
マイクロリップシンクの場合は特に設定を変更する必要はありません
普通のリップシンクを選択して下の音素設定を変更します
あ、い、う、え、お、他をそれぞれ、緑＋、赤ー、黒に設定できます
これはモデルのマウススマイルの動きに対応していて、簡単に言うとプラスのとき、口が横に広がる、マイナスのとき狭まる、黒のとき変化なしという動きになっています
とりあえず、上記画像のように黒緑赤緑赤黒と設定すれば良いと思います
この辺もモデルによって変わってくるので一番いい設定を探してみてください
音声を流す
ではいよいよ音声を流してみます
現在の設定だとデスクトップに流れた音声がそのままVtube studioに流れているので、作業用BGMなどをかけているとその音声も拾ってしまうのでご注意ください
VOICEVOXやボイスロイド等を開いて何か音声を流してみてください
うまくリップシンクできたでしょうか
全然動かないという方がいたら、設定が間違っていないか確認したり、Vtube studioを再起動したりしてみてください
ここまでの設定は自動で保存されているので、閉じても問題ありません
口の動きに違和感があるときは、音量ブースト、音量しきい値、周波数ブーストを弄って調整してみてください
これでリップシンクの設定は完了です
表情の変更
笑顔や怒った顔など、表情を変更する方法です
表情を登録
まずは表情を登録します
今回はとりあえず笑顔の表情を登録してみましょう
映画監督がカッチンするあれをクリックします
表情ファイルエディターを押して新規表情ファイル作成を選択してOK
するとこういう画面が出てくるので
口の変形を選択して、1に設定
左眼開閉と右眼開閉を選択して、0に設定
あとは一番上の表情ファイル名を入力し、保存するをクリック
これで笑顔の表情が登録されました
表情を呼び出す
登録した表情を呼び出してみましょう
下にいってプラスマークをクリックします
アクションタイプで表情を切り替えるを選択してOK
表情をクリックし、先ほど登録した笑顔を選択
表情→笑顔
呼び出す方法は
キーボードの好きなキーに登録する方法とスクリーンボタンに登録する方法、ジェスチャーに登録する方法の3種類があります
(ジェスチャーに登録する方法はほとんど使わないので省略します）
まず一番上にスクロールしてキーバインド設定からキーバインドを使うとスクリーンボタンを使うを選択しておきます
キーに登録する方法
キーコンビネーションからキー1を押すとキー選択画面が出てくるのでお好きなものを登録してください
RECを押せば実際に押したキーを登録できます
次にスクリーンボタン
一番下のスクリーンボタンを押せば右側に白い丸が出てきます
このボタンを押すと表情の変更が可能です
これで表情の変更ができるようになりました
工夫次第で色々なことができるので試してみてください
ウインクも片目だけ閉じる表情を作ることで対応できます
あとはお好きな表情を登録して、いよいよ撮影です！
撮影
背景の変更
では撮影に入りましょう
まずは編集でクロマキー合成するために背景を変更します
メニュー画面を開き、上から二番目のアイコンをクリック
背景選択画面が出てきます
下の方にあるカラーピッカーを選択すると背景を好きな色に変更できるので、ブルーバックかグリーンバックに変更しましょう
（記憶が曖昧ですが課金専用だったかもしれないです）
background_1から9までは自分で好きな画像に変更できますので
BBやGBなど好きな画像を用意して置き換えましょう
撮影
録画ソフトを立ち上げ撮影していきましょう
あらかじめAVIUTL等で喋る内容を編集しておきます
この時にどのタイミングで表情を変更するかも決めておきます
あとは録画ボタンを押し、編集ソフトの再生ボタンを押し、タイミングを合わせて表情を変更していけば、撮影は終了です
リップシンクの口パクは0.3秒ほど遅延が発生するので、編集でうまく合わせてください
終わり
ここまで見てくださった皆さん、本当にお疲れ様でした
編集コストは確実に増えますが、その分良い動画ができると思いますではでは皆さんのLive2D動画を楽しみにしてます
ここまでご覧いただきありがとうございました
オタッシャデー