見出し画像

【１万文字】AI VTuberを自動で作る！音声でアバターが動く、VTube StudioとLive2Dの完全ガイド！

葉加瀬あい (AI-Hakase)🎈動画&Note でAI解説🎥https://x.gd/F2Mvl

皆さんこんばんは！お風呂の温度は45度がベストな温泉大好き、葉加瀬あいです！

最近、本業の方である大企業様にとても大きな仕事をいただけたのですが、それがとても忙しく更新が止まっており申し訳ありませんでした🥲

（大きい案件でも、やっぱり受ける仕事は考えないとですね…）

それで今回は、VTube Studioを使ったAI VTuberの作成方法について解説していきたいと思います！

ゴールとしては、こんな感じで、VTube StudioでバーチャルYouTuber（VTuber）を動かして、それにAIによる合成音声を使ったリップシンクと自作のモーションを組み合わせるところまでやっていく予定です！

元のツイートにも少し書いたのですが、この自作モーションにはショートカットキーを割り当てることができるんです！

しかも、このショートカットキーはバックグラウンドでも動作するという優れもの...。

もうやりたいことわかりますかね？

実は、今回はこちらの動画のように、VRMファイルを使った完全自動AI VTuberの動画作成をLive2DとVTube Studioを使ってやってしまおうという試みなんです！

なんで、Live2DとVTube Studioを使ってやっていくのかに関しては後ほど解説しますね！

一応、知らない人にも解説をしておきますと、VTube Studioは、株式会社デンソーウェーブが開発したVTuber向けのソフトウェアです。

デンソーウェーブは、産業用ロボットや自動車部品などの製造で長年の実績を持つ企業であり、その高度な技術力を活かしてVTube Studioを開発しました。

Live2Dは、株式会社Live2Dが提供する2Dアニメーション作成ツールで、イラストを用いてキャラクターを自然に動かすことができます。Live2D社は、多くのゲームやアニメーション制作にtheir技術が採用されており、高い表現力と使いやすさで定評があります。

AI VTuberの作り方を知らないと、VTuberを始めるためのハードルが高くなってしまいます。
自分でキャラクターを動かすためには、モーションキャプチャーの設備が必要だったり、アバターを操作するための専門的な知識が求められたりします。

その結果、VTuberデビューを諦めてしまう人も少なくありません。

しかし、VTube StudioとLive2Dを使ってAI VTuberを作れば、そういった問題を解決できます！

AIによってアバターが自動で動くため、配信者は音声認識とシナリオ設計に集中できます。また、VRMファイルを使えば、3Dモデリングの知識がなくてもオリジナルのキャラクターを作成可能です。

つまり、AI VTuberの技術を使いこなせば、誰でも手軽にVTuberを始められるようになるんです！

この記事では、まずは準備編ということで、以下の3つのポイントを解説していきます。

  1. VTube Studioなどのインストール（前半）

  2. その他の必要なツールのインストール（中盤）

  3. iPhoneとウィンドウズを接続する設定（後半）

この記事を読むことで、以下のようなことができるようになります。

  • VTube StudioとOBSを連携させ、バーチャルキャラクターを使った配信環境を構築できる。

  • VTube Studioの機能を活用して、アバターの動きをコントロールし、よりインタラクティブな配信が行える。

  • 音声に合わせたリップシンクやショートカットキーによるアバター操作により、まるで生身の人間が話しているかのような自然な動きを実現できる。

つまり、これらの解説を通じて、VTube Studioを使いこなし、配信準備の時間を短縮しながら、高品質な音声と映像で視聴者を惹きつける配信ができるようになるんですね！

また、独自のモーションを駆使し、他のVTuberと差別化したオリジナリティのある配信スタイルを確立することができます！

それでは、VTube Studioを使ったモーション作成と配信の質向上について、AI VTuberの世界を一緒に探検していきましょう！


⚠️私の記事を読む上での注意事項⚠️

私の記事を読む上での注意事項などをこちらの記事で詳しく説明しておりますので、ぜひ一読いただいてから先に進んでいただけると嬉しいです！

それでは、さっそく本題に入っていきましょう！

⚡️今回の記事を動画で見たい方へ⚡️

今回の記事の内容を動画でチェックしたいという方は、こちらのマガジンにYoutubeの動画リンクを掲載しておりますので、そちらをご覧ください！

例えば、こんな風に使い分けるのもおすすめです！

  • 通勤・移動時：動画で概要をチェックする。

  • AI技術を実践する時：テキストを参照しながらコピペ・リサーチを行う。

特にAI技術に関しては、動画よりもNoteなどのテキストでシェアした方が、実際に技術を触ってキャッチアップしやすいと思います！

情報感度の高い皆さんが、より効率的にAIについての知見を深められるよう、『ユーザー体験』を最大化できる工夫を心がけました！

ぜひこのマガジンを活用して、効率的な学習を進めてくださいね！

※ 動画コンテンツは私のNoteメンバーシップの会員限定となります。


VRMファイルではなく、VTube Studio Live2Dを使用する理由

VRMファイルではなく、VTube Studio Live2Dを使用する理由は、以下の2つが大きいですね。

  1. 待機モーションの録画ができる。

  2. モーションの切り替えがスムーズ。

理由1の待機モーションの録画に関しては、VTube Studioでは最大1分間のモーションの録画ができるという点がとても大きいですね！

バーチャルキャラクターのモーションというのはBlenderや他の3DCGのツールを使えば作成できます。
でも、手順が複雑化し、作成するのがかなり手間だったりするんですよ。

それがVTube Studioの機能を使えば、まるで動画を撮影するみたいにモーションが作成できるんです！
詳しいやり方は後ほど解説するのですが、実際に動いている動画をモーションファイルとして扱うことができるのでとても便利なんですよね。

(参考画像)

理由2のモーション切り替えに関しては、VTube Studioでは非常にスムーズに行えるという点が魅力的です。

バーチャルキャラクターの配信ツールは、そもそもモーションの切り替えを頻繁に行って動画を配信するようには作られていないんですよ。

だから、配信ツールによっては、急にモーションが切り替わってしまうことがあるんです。例えば、手を挙げているモーションから手を下げているモーションに切り替える際、一瞬で切り替わってしまうということですね。

理想的には、手を挙げているモーションからゆっくりと手を下げているモーションへと滑らかに移行するのが自然です。VTube Studioでは、このようなモーションの切り替えをスムーズに調整してくれるわけです。

様々なモーションを切り替えながら配信しても、違和感なくキャラクターが動いてくれるんです！

VTuberの配信では、このようにモーションがカクカクするのか、スムーズに見えるのかが大切なポイントになってくるんですね。

(参考動画)

※ 3Teneを使用した作成方法についてはこちらで解説をしております！この方法であればモーションの切り替え時にカクカクしたりすることはないですね！ただしモーションの作成が少し手間なので、それを行ないたい場合は今回ご紹介する方法を使うのがおすすめです！

ちなみに、VTube Studioでは、モーションにショートカットキーを設定することができます！

つまり、動画を撮影しながらショートカットキーを押すだけで、ほぼ自動でVTuber配信ができてしまうということなんです！

余裕がある方は、ショートカットキーを入力するプログラミングなどを実装して、動画の流れに合わせてモーションを自動で変更するといったこともできちゃいます。

詳しくは後ほど解説しますが、VTube Studioの設定画面にある「キーを設定すれば解除」という項目で、モーションにショートカットキーを割り当てられるんです！

(参考画像)

それでは、AI VTuberを作るための具体的な手順について、詳しく解説していきたいと思います！

まずは、いくつかインストールが必要なソフトウェアがあるので、そちらの準備から始めましょう。

VRMファイル と Live2D の対比まとめ

VRMファイルとVTube Studioを使ったAIチューバー作成には、それぞれ特徴があります。

VRMファイルを使う場合、手や表情などのディテールをあまり作り込まなくても、ある程度自然に動いてくれるのが利点です。ただし、モーションの自作には少し手間がかかり、初心者には敷居が高いかもしれません。また、ショートカットキーをバックグラウンドで実行できないのが少し不便ですね。

一方、VTube Studioを使う場合は、手や表情などの細かい部分の作り込みが少し複雑になります。その分、自作モーションの作成が動画撮影のような感覚で行えるので、アバターさえ完成していれば、モーションの録画はとてもスムーズです。さらに、ショートカットキーがバックグラウンドで実行できるのも大きなメリットと言えるでしょう。

つまり、VRMファイルは手軽さ、VTube Studioは自由度の高さと使い勝手の良さが特徴だと言えます。自分のスキルレベルや目的に合わせて、使い分けるのが賢明ですね！

※ ちなみに、VRMファイルを使った完全自動AI VTuberの動画作成に関してはこちらの記事で解説をしています！テキストの感情分析などを行うプログラムに関しては、熟考した結果、非公開としております。ヒント的なものは添付しておりますので、もしプログラミングで自動で表情やモーションなどをテキストによって割り当てたいという方は参考にしてみてください！


VTube Studioなどのインストール

まずは、VTube Studioを使うために必要なソフトウェアを順番にインストールしていきましょう。

Steamのインストールとアカウント作成

VTube Studioを使うには、まずSteamというプラットフォームが必要になります。こちらのURLからダウンロードページにアクセスして、Steamのインストーラーをダウンロードしてください！

(Steamのダウンロードページ画像)

ダウンロードしたインストーラーを実行すると、セットアップウィザードが表示されます。

基本的にはデフォルトの設定のままで大丈夫ですので、指示に従ってインストールを進めていってください。

(Steamのインストール画面画像)

インストールが完了したら、Steamを起動して、アカウントを作成します。まだアカウントをお持ちでない方は、ログイン画面で「アカウントの作成」をクリックして、必要な情報を入力してください！

(Steamのアカウント作成画面画像)

メールアドレスの確認が求められたら、登録したメールアドレス宛に届いたメールから、アカウント作成の手順を進めてください。

ユーザー名とパスワードを設定すれば、アカウントの作成は完了です！

(Steamのログイン画面画像)

VTube Studioのインストール

Steamにログインできたら、次はVTube Studioをインストールします。こちらのURLからVTube Studioのページにアクセスして、「インストール」ボタンをクリックしてください。

(VTube Studioのインストールページ画像)

画像のボタンを押したら、このようにでてきますので、こちらでインストールを行っていきます。

ダウンロードとインストールが自動で行われるので、完了するまで少し待ちましょう。インストールが終わったら、デスクトップ上に作成されたVTube Studioのショートカットアイコンをダブルクリックして起動します。

頻繁に使用するソフトウェアは、タスクバーにピン留めしておくと便利です！

VTube Studioのアイコンを右クリックして「タスクバーにピン留めする」を選択すれば、ワンクリックで起動できるようになります。(私は既にピン留めしてあるのでピン留めを外すと表示されてますね)

(VTube Studioのショートカットアイコン画像)


obs-spout2-pluginのインストール

それと、後ほどバーチャルキャラクターをVTube StudioからOBS Studioに送信するために、「obs-spout2-plugin」というツールもインストールしておきます！こちらに関しては以下の記事で解説しているんですが、一応インストール方法を引用しておきますね！

ここから引用

Spout2は、共有テクスチャを高解像度でインポートおよびエクスポートするためのプラグインで、OBS Studioとの連携が可能です！

obs-spout2-pluginをダウンロードし、インストールすることで、Webcam Motion Receiverからの映像をOBS Studioに直接取り込むことができちゃいます！

このプラグインを使用することで、OBS Studioと他のSpout2対応プログラム間で映像データを直接やり取りすることが可能になるんです。

具体的には、Webcam Motion Receiverなどのアプリケーションからの映像をOBS Studioに直接取り込むことができるため、配信や録画の際に非常に便利です！

Spout2プラグインのダウンロードとインストールは、以下の手順で行います。

１.

obs-spout2-pluginのGitHubページにアクセスして、リリースページから「OBS_Spout2_Plugin_Installer.exe」をダウンロードしてください！

(obs-spout2-pluginのダウンロードページ画像)

2.

ダウンロードしたインストーラーを実行し、OBS Studioがインストールされているディレクトリを指定して、インストールを実行してください！

(obs-spout2-pluginのインストール画面画像1)

(obs-spout2-pluginのインストール画面画像2)

以上の手順で、obs-spout2-pluginのインストールは完了です！これで、OBS StudioでSpout2の機能を使用できるようになりました。

VTube Studioで作成したアバターを、OBS Studioを使って配信する際に、このobs-spout2-pluginが大活躍してくれるんです！

詳しい設定方法は後ほど解説しますが、これでバーチャルキャラクターをVTube StudioからOBS Studioに送信する準備は整いました。

それでは、次のセクションでは音声関連の設定を行うために必要な仮想オーディオケーブルのインストールと設定方法について解説していきますね！


それで、ここからは、AI技術の悪用防止なども踏まえて、私のノートメンバーシップの会員限定でお届けしていきます！

私のノートメンバーシップでは、超初心者の方でもAIを便利に使いこなせるようサポートしています！（現在、皆さんの周りの100名以上の方が在籍中🎉）

仕事や副業に役立てたり、友達と一緒に使って信頼関係を深めたりと、様々な用途でご活用ください！多数のAIプロジェクトをマネジメントするプロが、リーズナブルな価格で、安全かつ幅広い情報量で詳しく解説しています！

続きが気になる方は、ぜひこちらのリンクから会員登録をしてお読みくださいね！

それでは、先に進んでいきましょう！

仮想オーディオケーブルのインストールと設定

AI VTuberを作成する上で、音声関連の設定は非常に重要です。ここでは、仮想オーディオケーブルである

ここから先は

3,275字 / 11画像

🔰初心者でも『note記事・動画・質疑応答』の3点で最新のAI情報がわかります。 あいラボ (A…

このメンバーシップの詳細

🎈あいラボ（動画 見放題プラン）新規募集につき特別価格✨

¥780 / 月
初月無料 募集終了

🎈葉加瀬のAI研究室 ~あいラボ~ 記事/動画/質問プラン

¥2,599 / 月
あと1人募集中
ログイン

この記事が参加している募集

#AIとやってみた

40,000件

この記事が気に入ったらチップで応援してみませんか？