見出し画像

AITuberを人間っぽく自然に動くように設定する【キャラクターモーション制作】備忘録

ろてじん

AIと言うだけで嫌忌されるので人間っぽく擬態する

　チューリングテストでは「人間が対話している相手を機械だと見抜けなければ、その機械は人間と同等の知性を持っていると見なせる」と言う事らしいので、AIのVTuberも「見ている人がAIだと見抜けない」ように振る舞えれば、人間のVtuberと同じような親近感を持ってもらえるのかな…なんて。

　そんなこんなで前回のnote記事から少し時間は空きましたが、最近のAITuber開発では「人間の模倣」を意識してアイデアを練り、色々と実験していました。今回の内容もその一つです。

　まずは成果物ですが、こんな感じになります。

この動画を説明しますと…
セリフは「ChatGPT4」で「深夜のドライブの醍醐味について語る」と言う台本を作りました。声の部分（音声合成）は「STYLE-BERT-VITS2」で台本を読み上げ。キャラクターは「VTube Studio」内で「Live2Dモデル」を動かしています。ビデオ録画は「OBS Studio」を使用。バックのBGMは音楽生成AIの「Udio」で2分くらいのものを作りました。

　今回の記事では、「VTube Studio」内の「Live2Dモデル」を「人間っぽく自然に動かす」部分を説明します。

「VTube Studio」もついてもザックリ説明しますと、これはPCやスマートフォンのカメラに映る自分（人間）の動きに合わせてLive2Dモデルを動かすことができるソフトです。当たり前ですが人間のVTuber用なので、AIで動かすVtuber仕様では無いのですね。そこでAITuberでは、人間が配信中に何もしていない状態の時に自動的に発動するモーションである「待機モーション」を活用していきます。

では、今まではどんなモーションだったのか？

　ここまでの経緯ですが、今まで作ったAITuberも「待機モーション」は使用していました。ただ、一般的なプリセットものでは5～10秒くらいのものが多いんですね。例えば以下の動画は、よく見ないと気付かないかもしれませんが短い動きをループしています。ちなみにこれは最初から「VTube Studio」に入っている「hiyori」と言うモデルの待機モーションです。

どうすれば自然な動きに見えるのか？

　とてもシンプルなのですが5～10秒と言う短いスパンでループしているモーションだと「如何にも機械っぽい動き」に感じるので、長い待機モーションを作ってループすれば違和感がグッと減ります。（これもあまりにも派手な特徴的な動きをすると気付かれるかもしれませんが…）

　待機モーションの作り方はとてもシンプルでした。用意としては「iphone」と「USBケーブル」が必要になります。Wi-Fiでも接続できるらしいのですが精度がガクッと落ちるらしいのでUSBでの有線を採用しました。

　まず、iphoneに「VTube Studio」をインストールして立ち上げる。iphoneとPCが接続して、iphone側の「VTube Studio」メニューの歯車マークから「USB接続設定」→「USB接続開始」。PCの「VTube Studio」でも同じ様にメニューの歯車マークから「USB接続設定」→「USB接続開始」。
最初にiphoneをPCに接続した際には「itunes」で認証してねと出てくるので、その辺りは言うとおりに設定して再起動などすると良いです。
ここまで人間が「VTube Studio」でVTuberをやる方法と同様ですね。

　無事にiphoneとPCが接続が出来たらiphoneの顔認識でPC側のLive2Dモデルが動かせるようになっているはずです。この状態で、PC側の「VTube Studio」でモーションを作っていきましょう。

モーションの記録と出力

カメラマークの中にある「モーションの記録・出力」から記録を開始。
出来るだけ長い待機モーションを作った方がループ時に自然な動きになるので録画時間は60秒にしましょう。ここにオリジナリティが出る部分かも。
この出力を待機モーションとして設定すれば今回の作業は完了です。

プログラム的な応用として、複数の1分間の待機モーションを作ってキーバインド設定、Pythonで制御すれば（ランダムでも良いし）それこそ人間が動いたデータなのだから人間っぽくなります（笑）
今回の方法で感情表現（喜・怒・哀・楽）のモーションを作って会話や表情も合わせてリアクションさせるキーバインド制御しても面白そうですね。その際の設定は…キーバインドアクションで新規作成「モーションをプレイする」を選択し…えーっと、この部分はわかりやすく別の記事で説明します。

　ちなみに本記事の1分間の自作の待機モーションのファイルを置いておきますので自由に使ってください。各々の「VTube Studio」内のモーション用のフォルダに入れれば使えるはず。フォルダはこんな感じかな？VTube Studio\VTube Studio_Data\StreamingAssets\Live2DModels\モデル名\motions

今回のモーションを作っての総括

　私は元々はミュージシャンだったので音楽制作では、人間の生演奏をどこまでMIDIの打ち込みで人間に近づけられるか…なんてことをずっとやってきました。なんだかAIのVTuber制作でも同じ様な思考でやっているのかな…なんて感じています。単純に生演奏は生演奏、打ち込みは打ち込み。
どこまで行っても人間は人間。AIはAIなんですけどね。わかってはいるんですが単純に楽しいので色々と開発しています。よく考えると今回のモーションもMIDIキーボードを手打ちしたような感じなのかもしれません。

　生演奏も打ち込みもどちらにもそれぞれの魅力があるので、きっと人間でもAIでも心に響くものを作れれば共感や親近感は沸いてくるはず。なんだか色々と作って自己満足の日々ですが、今年はキャラも固定で配信なんかもやっていきたいです（目標）。

今回も読んでいただきありがとうございました。

あっ…アニメ「ガールズバンドクライ」は本当に素晴らしい作品なので見た方が良いです！見ないともったいないぞ！

この記事が参加している募集

AIとやってみた

24,553件

この記事が気に入ったらサポートをしてみませんか？