【紹介❗️】え？これAIなんですか…❓️ 最新式AI VTuberの作成方法❗️人間の動きとAIを融合させよう❗️
はじめに
どうも、皆さん！ノートを取るときははアナログ派のタイプの女、葉加瀬あいです！
今日はVTuber作成に関する超お得な情報をお届けしちゃいます！
前回の記事では、3tene（ミテネ）を使用してバーチャルキャラクターにリップシンクをさせる方法について詳しく解説しました！
https://note.com/ai_hakase/n/n4f2e089e7ac0
今回は、その知識を活かして、さらに進んだVTuber作成技術をご紹介します！
具体的には、実際の人間の動きと自動モーションを組み合わせて、もっとクオリティーでリアルなVTuber動画を作ろうといった形になります！
よく、上手な嘘をつくコツは「嘘の中に本物を混ぜること」と言いますよね。これまで数々の偉人がそのようなニュアンスの言葉を発言してきましたし、実際にそういったことに騙される人もとても多いです。
今回は、その上手な嘘をつく技術をAI技術やIT技術に応用して良いコンテンツ作りに役立てようという試みなんです！
ちょっと前置きが長くなっちゃいましたが、こんな感じの動画を作っていきます！
Vroid Test pic.twitter.com/AHk6Ab6E0a
— 葉加瀬あい (AI-Hakase) ✎. AI作曲家＋AI解説者🎈 (@ai_hakase_) April 20, 2024
https://x.com/ai_hakase_/status/1781538998277775654
バーチャルキャラクターに3Dモーションを適用して動かすのをデフォルトにして、そこに生音声でリップシンクを行います。さらに、手の動きや表情の変化など、人間特有の動きを加えることで、まるで実際に人間が喋っているような感覚を演出するんですね！
プレゼンテーションでは、話す言葉よりも身振り手振りの方が重要だと言われているんです。だから、何かを伝えたい時は、言葉以上に身振り手振りを意識しないといけないんですよ。
でも、現状のAI YouTubeでは、そういった人間特有の身振り手振りや表情をうまく表現できていないんです。だからこそ、その部分を人間が担当して、それ以外をAIやプログラムで自動化するのが一番合理的なんですね。
（17ca37bf-b0cd-4d70-9af7-e644d510637c_base_resized.jpgの画像）
将来的には、この作業もAIで自動化できるかもしれません。いや、頑張ればもう自動化できそうな気もします！
でも、そこには自然言語を用いたプログラミングや、AIで作成したモーションをシームレスに適用するなど、複雑な手順が絡んでくるんです。開発コストもかかるし、ユーザビリティを高めるにはより長期的な開発が必要になります。
だから今回は、今できることをやっていこうというコンセプトで解説を進めていきますね！
ちなみに、たった今開発コストの話などもしましたが、今回ご紹介する方法では最初の月はゼロ円から始められて、それ以降のランニングコストもたった199円しかかからないようになっております！
（Webcam Motion Capture の初月無料コード：UUlzoGp3）
さらに、このランニングコストは6,980円に到達した時点で打ち止めとなるようになっておりますので、皆さんにとってとても費用対効果の高い濃い内容になっております。
皆さんにとって、とても費用対効果の高い濃い内容になっていると思います。動画配信をもっと効率化して、家族との時間や趣味の時間を増やしたい、もっといろんなことに挑戦したいという方は、ぜひ最後まで見ていってくださいね！
🎥動画での学びをご希望の方へ🎥
この記事の内容を動画で学びたい方は、ご安心ください！Youtubeの動画リンクをマガジンに掲載していますので、そちらをチェックしてみてくださいね。
動画を活用することで、こんな使い方が可能です！
移動中：動画を視聴して概要を把握。
AI技術実践時：テキストを参照しながらコードをコピペ・実行。
動画コンテンツは、特に技術的な内容を理解する際には、テキストベースの情報よりも直感的で理解が深まることがあります。
そのため、Noteなどのテキスト情報と併用することで、技術のキャッチアップがよりスムーズになると考えています。
皆さんがAIに関する知識をより効率的に深められるように、ユーザー体験を重視してコンテンツを提供しています。このマガジンを使って、ぜひ効率的な学習を進めてくださいね！
※なお、動画コンテンツは私のNoteメンバーシップ限定で提供しています。
📢皆さんの声をお聞かせください📢
YouTube動画やNoteメンバーシップ、または私の解説記事に関するご意見をお聞かせください。皆さんの貴重なフィードバックをもとに、より良いコンテンツへと改善していきたいと思います。
ご意見は匿名で大丈夫ですので、お気軽にどうぞ！
ご意見番のURL：
📌記事を読む前にご確認ください📌
私の記事をお読みいただく前に、注意事項をご確認いただくことをお勧めします。詳細は以下のリンクからプロフィール記事をご覧いただけます。
それでは、さっそく本題に入っていきましょう！
VRM 0.XとVRM 1.0の違いと問題点
前回ご紹介した3tene（ミテネ）は、VRM 0.Xのファイルには対応しているものの、現在主流のVRM 1.0の3Dモデルのファイルには対応していないんです。
つまり、昔の規格で作ったVRoidファイルでないと、3teneでは読み込んですらしてくれないんですよね。
ここで出てきたVRM 0.XとVRM 1.0の違いについて、簡単に説明しておきますね。以前まで使われていたバージョンがVRM 0.Xで、新しいバージョンがVRM 1.0なんです。このバージョン変更に伴って、バーチャルキャラクターの3Dモデルの作り方の規格がいろいろと変更されました。
（https://pbs.twimg.com/media/FdXCl8gWQAI6F2E.jpgの画像）
わかりやすく言うと、プラスチックで作るようになっているか、金属で作るようになっているかみたいな違いですね。だから、3teneなどのツールがどちらのファイル形式に対応するかによって、読み込めるか読み込めないかが決まってしまうんです。
VRM 0.xとVRM 1.0の技術的な違いとWebcam Motion Captureの紹介
VRM 0.xとVRM 1.0には、座標系やボーンの構造、ブレンドシェイプ、拡張性など、技術的な違いがあります。VRM 1.0への移行には、互換性の向上や表現力の向上といった利点があるんですよ。
（https://vrm.dev/en/images/vrm/card.pngの画像）
それで、その以前のVRM 0.XのVRMファイルについては、現在は旧式になっておりまして、これからみんなで使っていこうというのがVRM 1.0のVRMファイルという形になります。
イメージつきますかね？
つまり、VRM 1.0のVRoidファイルでしか読み込めないプラットフォームが今後増えていくと、この現在主流のVRM 1.0で動くVRoidファイルを読み込めるものの方が、頑張って作成したバーチャルキャラクターのファイルを使い回せるんですね。
ちなみに、VRM 0.XからVRM 1.0への変換はワンクリックで可能ですが、その逆のVRM 1.0からVRM 0.Xへの変換は、ライセンスの問題で禁止されているんです。だからこそ、VRM 1.0に対応したツールを使っていく必要があるんですよ。
（https://elvingamedev.com/assets/blog/vrm0to1/vrm0to1.jpgの画像）
そこで今回は、VRM 1.0に対応したバーチャルキャラクターを動かしたり、喋らせたりできるツールである「Webcam Motion Capture」を紹介します！
このツールは、3teneと同じように、バーチャルキャラクターを読み込んで、身振り手振りをつけたり、リップシンクをさせたりできるのが特徴です。モーションファイルを読み込んで適用させる機能もありますし、人間の動きをカメラでトラッキングさせる機能もあるんですよ。
ただ、3teneのように、モーションにショートカットキーを割り当てて、キーバインドで様々なモーションを取らせることは、少し設定が面倒な仕様になっています。あくまでも、待機モーションの一部としてモーションを適用させるように使うという形ですね。
料金的には、私が発行しているプロモーションコードを入力すると、初回限定で初月の費用が無料になりますが、基本的には月額199円ほどの費用がかかります。
（Webcam Motion Capture の初月無料コード：UUlzoGp3）
つまり、無料で使いたい方や、ショートカットキーを使ってモーションを割り振ったり、動画の流れに合わせて様々なモーションを組み合わせて動画を作りたい方は、3teneを使うのがおすすめです。
一方、VRM 1.0のVRoidファイルを使って動画を作りたい方や、自分の動きをトラッキングさせながらダイナミックな動画を作りたい方は、Webcam Motion Captureを使うのがおすすめですよ。
もっと細かく言うと、それぞれ動きの仕方に得意不得意がありますので、ご自身の配信目的に合ったものを選ぶのが良いと思います。私のおすすめは、忖度なしでWebcam Motion Captureですね！ただし、無料で様々なモーションを組み合わせて時短で動画を作るなら、3teneを使うことをおすすめします。
つまり、クオリティをもっと上げたい場合は、Webcam Motion Captureを使うといった感じですかね。設定は少し面倒ですが、最近はパーフェクトシンクや全身のトラッキングなども追加されたので、とても使い勝手が良いと思います！
ということで、これからWebcam Motion Captureと音声合成AIを使ったリップシンクの実装の解説を行っていきます。今まで説明した内容と重複する部分もあるかもしれませんが、流れと皆さんの理解度を優先して解説していきますので、ぜひ最後まで見ていってくださいね！
ウェブカメラを活用した3Dアバター操作技術「Webcam Motion Capture」
ここからは、ウェブカメラを使って3Dアバターを動かすことができる革新的な技術、「Webcam Motion Capture」についてご紹介します。
この技術は、特別なセンサーやマーカーを必要とせず、ウェブカメラの映像から直接、人体の動きを捉えてデジタルデータ化し、それを3Dモデルに適用することができます。
2021年11月にリリースされて以来、世界90か国以上で18,700人以上のユーザーに利用されており、AIを搭載しているため、高価な機器を必要とせずにコンピュータやスマートフォンのカメラだけで3Dアバターを動かすことが可能です。
Webcam Motion Captureのイメージ
Webcam Motion Captureの使用方法と注意点
Webcam Motion Captureを効果的に機能させるためには、背景がシンプルでユーザーがカメラに正面を向いている環境が最適です。
また、カメラは顔の高さに設置し、顔と胸が完全に映るように距離を調整することが推奨されています。手を挙げたときに肘が見える位置にいると、トラッキングが安定し、長袖の服を着ている場合は、肘から指先までの素肌が見えるように袖をまくることで、トラッキングの精度が向上します。
他のツールとの連携
Webcam Motion Captureは、無料の動画作成・生配信アプリであるOBS Studioと連携して使用することができ、YouTubeや他の動画サイトでライブ配信を行ったり、動画を作成したりすることが可能です。
詳細な設定方法については、OBS Studioの設定ガイドを参照してください。
また、VRoid Studioという無料アプリとも連携できます。VRoid Studioを使用して3Dアバターを作成し、VRMファイルで出力した後、Webcam Motion Receiverで読み込むことができます。
使用するVRMモデルについて
Webcam Motion Captureを使用する際は、VRMモデルがVRMの仕様を満たしているか、特に必須のボーンがすべて含まれているかを確認する必要があります。
各指には3つのボーン（Distal / Proximal / Intermediate）が設定されている必要があるため、VRM 1.0以上の規格のVRoidファイルなどを使用するようにしてください。
おすすめのウェブカメラ
Webcam Motion Captureを使用する際は、できるだけフレームレートが高く画角が広いウェブカメラを使用することをおすすめします。私のオススメはこちらです。
また、カメラと一緒にライトが必要な方は、こちらのウェブカメラがおすすめです。
以上が、Webcam Motion Captureの概要と使用方法についての解説でした。この技術を使えば、特別な機器を必要とせずに、ウェブカメラだけで3Dアバターを動かすことができるので、ぜひ活用してみてください！
料金プランとアクセス方法のご案内
「Webcam Motion Capture」の料金プランとアクセス方法について詳しくご紹介しますね！
利用可能なプラン
Webcam Motion Captureは、お手頃な価格で始められるツールで、以下の二つのプランが用意されています。
サブスクリプションプラン:
月額たったの199円で利用可能です。
基本的なモーションキャプチャ機能が含まれており、追加機能やサポートが必要な場合は、別途料金が発生することがあります。
買い切りプラン:
一括で6,980円で購入することができます。
サブスクリプションの支払いが合計で6,980円以上になった場合、自動的に買い切りプランに切り替わります。これにより、サブスクリプションで支払った料金が無駄にならず、長期的に利用するユーザーにとって非常にお得です。
初回限定の特典
さらに、初回限定で素敵なプロモーションがあります。プロモーションコードを使用すると、初月の利用料が無料になります！
初月無料で始める方法
それでは、初月無料で始める方法をご紹介します。以下のステップに従ってくださいね！
まずは、こちらのリンクにアクセスしてください。
そしたら、サブスクリプションというところでご自身のメールアドレスを入力します。
メールアドレスを入力して「送信」ボタンをクリックします。
すると、こちらの画像のように入力したメールアドレス宛にパスワードのメールが届きます。こちらをコピーしてください！
コピーしたパスコードを入力欄にペーストします！
貼り付けますと、こちらのように自動的に画面が切り替わりますので、クレジットカードやPayPal等のボタンを選択した後、クーポンを使うと言う場所にチェックを入れてください！
そして、赤枠内のクーポンと書いてある場所に先程のプロモーションコードを貼り付けます！
プロモーションコードは「UUlzoGp3」となりますので、こちらを入力して支払いを押してください！
これだけで諸月無料で始めることができます！本当に素晴らしい技術ですので、ぜひ皆さんも試しに使用してみてください！
Webcam Motion Captureのインストールガイド
ここでは、とっても便利なツール「Webcam Motion Capture」のインストール方法について、WindowsとMacOSの両方での手順をわかりやすくご紹介しますね！
Windowsでのインストール手順
ダウンロード:
まずは、Webcam Motion Captureの公式ウェブサイトにアクセスして、Windows用のダウンロードリンクを見つけましょう。
ダウンロードページから`WebcamMotionCapture.exe`ファイルをダウンロードします。
インストール不要:
お手軽に使えるのが魅力！Webcam Motion Captureはインストール不要のexeファイルで提供されています。ダウンロードしたexeファイルを直接実行するだけで、アプリが起動します。
この方法なら、PCのストレージも節約できて一石二鳥です。
セキュリティ設定の確認:
Windowsのセキュリティ設定によっては、「WindowsによってPCが保護されました」というメッセージが表示されることがあります。その場合は、「詳細情報」をクリックし、「実行」を選択してアプリを起動しましょう。
必要な追加コンポーネント:
システムにMicrosoft Visual C++ 再頒布可能パッケージがインストールされていない場合は、インストールが必要です。これがないと、アプリが正しく動作しないことがあります。
Microsoft Visual C++ 再頒布可能パッケージのインストールガイド
Microsoft Visual C++ 再頒布可能パッケージのインストール方法について、ステップバイステップでわかりやすく解説していきますね！
ステップ 1: ダウンロード
まずは、Microsoftの公式ダウンロードページにアクセスしましょう。Visual Studioのバージョンに応じた再頒布可能パッケージを選択します。例えば、Visual Studio 2015、2017、2019、または2022用のパッケージがあります。ページには通常、32ビット(x86)と64ビット(x64)の両方のバージョンがありますので、お使いのシステムのアーキテクチャに合わせて適切なものを選択してください。
Microsoft Visual C++ ダウンロードページ
ステップ 2: インストール
ダウンロードしたファイル（例: vc_redist.x64.exe）を実行しましょう。インストーラーが開始されたら、表示される指示に従ってください。通常、ライセンス条項に同意する必要があります。インストールオプションで「インストール」を選択し、プロセスが完了するまで待ちます。このプロセスは数分かかることがあります。
ステップ 3: 確認
インストールが完了したら、コントロールパネルの「プログラムと機能」で、インストールされたMicrosoft Visual C++のバージョンを確認できます。または、システムのSystem32（64ビットシステムの場合はSysWOW64）ディレクトリにあるDLLファイルを確認して、Visual C++のランタイムが存在するかを確認してください。
注意点
システムによっては、複数のバージョンのMicrosoft Visual C++がインストールされていることがあります。これは異なるアプリケーションが異なるバージョンのランタイムを要求するためです。インストール中に問題が発生した場合は、管理者権限でインストーラーを実行するか、セキュリティソフトウェアを一時的に無効にしてみてください。
この手順に従って、Microsoft Visual C++ 再頒布可能パッケージを正しくシステムにインストールすることができます。これにより、Visual C++で開発されたアプリケーションが正常に動作するようになります。
MacOSでのインストール手順
ダウンロード:
MacOS用のダウンロードリンクも公式ウェブサイトにあります。Apple SiliconとIntelの両方のアーキテクチャに対応しているので、お使いのMacに合ったバージョンをダウンロードしてください。
インストール不要:
MacOS版もインストール不要です。ダウンロードしたzipファイルを展開し、中に含まれるアプリケーションを実行するだけでOKです。
セキュリティ設定の確認:
MacOSでは、「"Webcam Motion Capture"は壊れているため開けません」というメッセージが表示されることがあります。この場合は、システム環境設定のセキュリティとプライバシー設定を確認し、アプリケーションの実行を許可してください。
アプリケーションの実行:
アプリケーションを実行すると、Webcam Motion CaptureとWebcam Motion Receiverの2つのウィンドウが起動します。ここでWebカメラをONにして、トラッキングを開始しましょう！
これで、WindowsとMacOSの両方でWebcam Motion Captureのインストールが完了です！
最低限必要なところはこんな感じですね！
ここからは長くなってしまうのでまた次の記事で解説して行きたいと思います！
🎈おわりに
いかがだったでしょうか。以上で本稿の解説を終了します。
今後も生成AIに関する記事を投稿していく予定ですので、フォロー・いいね をいただけると非常に励みになります。
また、私のプロフィール記事に関しても是非一読ください。
私の記事の内容を動画で確認したいという方はこちらからご視聴ください！
ご意見や改善点、紹介してほしいAI技術やアイデアなどはこちらのご意見番までお願いします。（匿名で可能です⭕️）
また、私はこういった生成AI技術の解説以外にも、保護猫活動なども行っておりますので、日々の応援なども含め、少額でも下記のリンクからご支援いただけますと幸いです。
ここまでご覧いただきありがとうございました！充実した生成AIライフをお楽しみください！
🙌ご覧いただきありがとうございました！
この記事が気に入ったらサポートをしてみませんか？