![見出し画像](https://assets.st-note.com/production/uploads/images/106912954/rectangle_large_type_2_567c92cd37091e4273c879767d6ab454.png?width=1200)
AIリアルタイムボイスチェンジャーMMVC_v1.5_導入講座_リアルタイム編B_VCClientで実行
注意(2023年10月21日):話者IDが2023年10月20日を境に変更されました。
特にv1.3については話者ID
(自分の声やずんだもんの声に対する番号、107とか100とか)
が変更されています。
記事の話者IDは一部古いため、
変更内容と対応方法はこちらをご確認願います。
講座記事一覧 最初と編まとめ
前回:リアルタイム編A_MMVC_Clientで実行 次回:春日部つむぎ編_公式サポート組を使用
こんにちは。ピポッです。
AIリアルタイムボイスチェンジャーである
I'mずんだもん王への道_MMVCの導入講座動画を作っている者です。
当記事では『リアルタイム編B_VCClientで実行』として、
VCClientというボイスチェンジャーソフトを使用した
リアルタイムVC(ボイスチェンジ)までの手順を説明します。
変換音声をDiscord等のソフトに「入力」にする方法や
変換速度を上げる・品質を上げるパラメータ調整
については、既にリアルタイム編A_MMVC_Clientで実行
で話しており、ほぼ重複するため、
使用方法(設定方法)での差異のみ記述します。
なお、『確認編』の
『学習結果をONNXファイルに変換する(v1.5)』
『MMVC_Client_v0.5.0.0の入手と展開』
『音声デバイスの取得』
『非リアルタイム用にmyprofile.conf編集(Client_v0.5)』
を実行している事を前提とします。
未実行の方は、先に『確認編』の試行をお願いします。
v1.3の場合は
『学習結果をONNXファイルに変換する(v1.3)』
『MMVC_Client_v0.3.1.0の入手と展開』
『音声デバイスの取得』
『非リアルタイム用にmyprofile.conf編集(Client_v0.3)』
を実行している事を前提とします。
やることは
『必要ファイルを導入する』
『リアルタイムVCする』
です。
ほとんどの部分は同じですが、
MMVC_Trainer_v1.5とv1.3で一部異なるため、
差異のある場所はバージョンを分けて説明します。
差異が無い場合、同一の処理とみて進めてください。
必要ファイルを導入する
必要な物はボイチェンソフトである『VCClient』に加え、
VCClient実行のために『CUDA 11.6』と『cuDNN8.5.0.96』が必要になります(※)。
なお、『CUDA』と『cuDNN』はNVIDIA GPUのあるPC限定で使います。
AMD GPUの方や、GPUの無い方は
『CUDA』『cuDNN』の項目を飛ばしてください。
(※)2023年05月29日時点の場合。
CUDA, cuDNNのバージョンはVCClient_v.1.5.3.3bに合わせた物です。
VCClientの更新などで、今度導入の必要なCUDA, cuDNNのバージョンが変わる事があります。
バージョンが別だと動かない事もある
(より高いバージョンが低いバージョンにも対応するとは限らない)
ので、注意してください。
CUDA 11.6のインストール
先にCUDA, cuDNNの入手・インストールを行います。
2023年05月29日、記事執筆時点では
CUDA 11.6, cuDNN8.5.0.96がVCClientに対応するため
こちらを入手します。
まず、下記URLに移動します。
移動するとLinux, Windowsとあるので
自身の使用しているパソコンのOSの方を押します。
![](https://assets.st-note.com/img/1685445815686-dS3UqM9wjr.png?width=1200)
押すとさらに選択肢が出ます。
こちらも自身のパソコンに一致するアーカイブ・バージョン等を選びます。
![](https://assets.st-note.com/img/1685445831381-10hjXmIYDq.png?width=1200)
Windowsの場合はArchitectureが1つで固定、
Versionについては10,11などがあるため、対応するWindowsバージョンを選ぶ。
『Install Type』は『exe(local)』を選択してください。
![](https://assets.st-note.com/img/1685445856938-v2fPrrKLjn.png?width=1200)
Install Typeが出てくるので、『exe(local)』を選ぶ。
ここまで選ぶと、ファイルのダウンロードボタンが表れます。
ボタンを押してダウンロードしてください。
容量がGB単位と大きいため、残り容量にご注意ください。
![](https://assets.st-note.com/img/1685445878819-o1b1LUqqIE.png?width=1200)
『Download』を押してダウンロードする。
![](https://assets.st-note.com/img/1685445903956-0P5LyM5Vmq.png?width=1200)
実行できる場所に保存する。
保存したらエクスプローラーに移動し、
先程保存した『cuda_11.6.0.exe』を実行してください。
![](https://assets.st-note.com/img/1685445921688-hDQeEUv1hp.png?width=1200)
実行すると、最初に『CUDA Setup Package』と出ます。
インストール用のファイルを一時的に展開する場所を指します。
そのまま『OK』を押してください。
![](https://assets.st-note.com/img/1685445935507-0O1ffpKBIm.png)
『OK』を押すと展開中の画面になるため、完了して
自動で画面が消えるまで待ってください。
![](https://assets.st-note.com/img/1685445960819-KH40XJyhbu.png)
100%になると自動で消えて次の画面が表れる。 完了して変わるのを待つ。
完了すると画面が消え、次に画面中央に
『NVIDIA CUDA バージョン 11.6』と表示されます。
そのまま少しするとシステムチェックが行われ、
インストール可能かどうか調べます。
システムに問題が無ければ『使用許諾契約書』の画面に変わります。
問題が無ければ『同意して続行する』を押してください。
![](https://assets.st-note.com/img/1685445982559-9EuxmudP6v.png?width=1200)
![](https://assets.st-note.com/img/1685445994045-o1AlqNX2E6.png)
契約内容を読み、問題がなければ『同意して実行する』
次に『オプション』画面に変わります。
『高速』を選んだ状態で、『次へ』を押してください。
![](https://assets.st-note.com/img/1685446041969-DTJLhyFsKF.png)
『高速』を選んだ状態で『次へ』を押す。
『次へ』を押すとインストールが始まります。
完了するまで待ちます。
![](https://assets.st-note.com/img/1685446062295-131HILOMJT.png)
インストール後、次に述べる画面が出なければ問題ありません。
『CUDA Toolkit installation warning』画面が表れ
『The NVIDIA Installer needs to add a path to the %PATH% environment variable;
however, doing so would exeed the maximum length possible for this variable.』
という文面と、コピーできるテキスト部分が発生した場合、
テキスト部分をコピー・テキストファイルに保存しておいてください。
各パソコンにおける環境変数のうち、
PATHにテキスト部分を書き込み・保存してください
(環境変数に関しては後述します)。
![](https://assets.st-note.com/img/1685446151851-NJykKBZc3g.png)
環境変数のPATHを登録しようとしたが、
既に登録してあるPATHが長すぎて 追加できなかった、
という事が書かれている。
環境変数のPATHを整理して表示されているテキストを
PATHに記入しないと、後々エラーが発生する。
パソコンの環境変数PATHを整理して、表示されている内容を登録する必要がある。
『CUDA Toolkit installation warning』が出なければ
(出た場合はテキストをコピーした後に『次へ』を押して)、
インストール後の内容が色々表示されるため『次へ』を押します。
最後に『NVIDIA インストーラが終了しました』と出たら
インストール完了です。『閉じる』を押してください。
![](https://assets.st-note.com/img/1685446207448-NGoRBOk3ZF.png)
インストール完了後は、先程ダウンロードした
『cuda_11.6.0_.exe』は不要になりますので、削除しても構いません。
cuDNN:アカウント登録
VCClientの場合、cuDNNはCUDAとセットで必要になります。
バージョンの一致も重要になるためご注意ください。
(指定バージョンより高い・低いと動かない事がある)
2023年05月29日(記事執筆時点)では
VCClient:v.1.5.3.3bに対し
CUDA:11.6
cuDNN:cuDNN8.5.0.96
が必要になります。
cuDNNの入手にはNVIDIAの開発者プログラムのアカウント
(NVIDIA Developer Program Membership)
が必要になります。
作成・登録・cuDNNの入手は無料です。
アカウント作成から順を追って説明します。
まず、以下のURLからcuDNNのサイトに移動します。
移動すると『Download cuDNN』とありますので、
このボタンを押してください。
![](https://assets.st-note.com/img/1685446339937-KQIofK9OBi.png?width=1200)
ログインしていない場合、
『NVIDIA Developer Program Membership Required』
とメンバーシップ登録が必要という画面になります。
『Learn More』を押してください。
![](https://assets.st-note.com/img/1685446376832-dI6QvE6Oy0.png?width=1200)
ログインしていないと、メンバーシップ登録が必要
といった内容の画面に移動する。
メンバーシップ登録画面には『Learn more』から移動できる。
『Learn more』から移動すると
『NVIDIA Developer Program』に移動します。
『Join the NVIDIA Developer Program』を押してください。
![](https://assets.st-note.com/img/1685446407949-ywnsg3OE4C.png?width=1200)
『Join the NVIDIA Developer Program』から登録する。
移動すると『Log in or sign up for an NVIDIA account』と表示され、
Eメールアドレスの入力が求められます。
ここで入力したアドレスで『NVIDIA Developer Program』に
登録する事になります。
使用可能なEメールアドレスを入力して『Next』を押してください。
![](https://assets.st-note.com/img/1685446474342-pT2Q93Rct8.png?width=1200)
使用可能なEメールアドレスを入力して『Next』を押す。
次に『Create Your Account』画面に移ります。
Email欄には先程入力したEメールアドレスが入力されています。
Passwordにパスワードを入れ、
Confirm passwordに上記のPasswordで入力したパスワードを入れた後に、
『I am human』を押してください。
なんらかの認証チェックが出るため、適切に回答してください。
回答後『I am human』にチェックが付いたら、
『Create Account』を押してください。
![](https://assets.st-note.com/img/1685460915166-aBAA6oZdGz.png?width=1200)
Eメールアドレスとパスワードを登録後、認証を行う。
認証できたら『Create Account』を押す。
『Create Account』を押すと、『Verify Your Email』画面に変わります。
この状態になると、登録したメールアドレスにNVIDIAからメールが届いています。
『Verify Your Email』画面(タブ・ウィンドウ)を残したまま、
メールを確認してください。
メールは『NVIDIA アカウントが作成されました』というタイトルです。
メール内に『電子メールアドレスの確認』とあるため、押してください。
![](https://assets.st-note.com/img/1685446596845-ufu6ncRPxl.png?width=1200)
メールアドレスの確認が完了するまで、画面に変化はない。
![](https://assets.st-note.com/img/1685446617641-1tCYGbwsuc.png?width=1200)
アカウント作成に使用したメールアドレスに、NVIDIAからメールが届く。
メール内の『電子メールアドレスの確認』を押すと、 アカウント作成が進む。
『電子メールアドレスの確認』を押すと、
『Your Email is Verified』画面が表れます。
メールアドレスの確認ができた事の表示になります。
この画面は数秒すると自動で閉じます。
先程の『Verify Your Email』画面に移動してください。
![](https://assets.st-note.com/img/1685446653586-UteL7f0AoE.png?width=1200)
先程残した『Verify Your Email』画面に移ると、
『もうすぐ完了です!』という画面に切り替わっています。
『登録する』を押してください。
![](https://assets.st-note.com/img/1685446673936-76c3PAyDVZ.png?width=1200)
メール通知設定が必要であればチェックを入れ、
不要ならそのまま『登録する』を入れる。
画面が移動すると『Complete Your Profile』に移ります。
名前(First Name, Last Name)などの入力が求められますが
なんでもいいので何かを入力していきます。
選択肢の『Job Role(仕事)』と『Industry(産業)』も
何か選択してください。
Organization / University Nameも何か入力してください。
該当する会社や大学があれば選択肢に出ますが、
特に無い場合は『xxx』(何らかの文字列)を入力し、
その後に選択肢として出てくる『"Create xxx"』
という物を押してください。
Development Areas of Interestに関しては
興味ある分野を1つから3つまでで選びます。
リアルタイムVCなら『Data Science』か『Generative AI』が
該当しそうですが、なんでもよいです。
『Join the NVIDIA Developer Program to access downloads (like cuDNN), how-to-videos, and more.』
にチェックが入っている事を確認したら、
下の『Submit』を押してください。
![](https://assets.st-note.com/img/1685446744311-leKZBpIzWk.png?width=1200)
該当するプロフィールを入力する。
*マークの箇所は必須項目のため、何かしら入力する。
『Join the NVIDIA Developer Program』にチェックが付いている事を
確認してから『Submit』を押す。
しばらくすると、再び『NVIDIA Developer Program』画面に戻ります。
現在はログイン状態のため、改めて下記の
『NVIDIA cuDNN』のURLに移動します。
『Download cuDNN』を押してください。
cuDNN:対応バージョンのダウンロード
ログイン状態であれば、『cuDNN Download』に変わります。
『I Agree To the Terms of the cuDNN Software License Agreement』
にチェックを入れると、cuDNNのうち新しい物が表示されます。
2023年05月29日(記事執筆時点)では、ここで表示される物ではなく
cuDNN:cuDNN8.5.0.96
が必要ですので、『Archived cuDNN Releases』を押して
古いバージョンのcuDNN一覧画面に移動します。
![](https://assets.st-note.com/img/1685446818808-mheEkWk7gT.png?width=1200)
『I Agree To the Terms of the cuDNN Software License Agreement』
をチェックするとcuDNNの新版が表示される。
今回必要なcuDNNは8.5.0.96のため、
『Archived cuDNN Releases』で移動する。
『cuDNN Archive』に移ったら、
『Download cuDNN v8.5.0 (August 8th, 2022), for CUDA 11.x』
を押してください。
![](https://assets.st-note.com/img/1685446851671-lwqtIO5kBX.png?width=1200)
押すと各OSに合わせたインストーラーが表示されます。
対応する物を押してください。
Windowsなら一番上の
『Local Installer for Windows (Zip)』
になります。
![](https://assets.st-note.com/img/1685446883541-MKrIogl45m.png?width=1200)
押すと『名前を付けて保存』画面が出ます。
圧縮ファイルのため、展開できる場所に保存してください。
![](https://assets.st-note.com/img/1685446949387-STB1iVLPh6.png?width=1200)
cuDNN:展開と配置
エクスプローラーで、保存した
『cudnn-windows-x86_64-8.5.0.96_cuda11-archive.zip』
を『すべて展開する』等で展開して、フォルダ内で
『bin』フォルダ等が確認できる位置に移動してください。
![](https://assets.st-note.com/img/1685446996975-5LwetMUThH.png?width=1200)
このフォルダ(中のファイル含む)を、
インストールしたCUDAにコピーして貼り付けます。
エクスプローラーでCtrl+Aキーで全選択、その状態で
Ctrl+Cキーでコピーしてください。
![](https://assets.st-note.com/img/1685447023511-W3meIRJ1OK.png?width=1200)
CUDAは、通常であれば
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6
に存在します。エクスプローラーでこの箇所に移動してください。
![](https://assets.st-note.com/img/1685447053276-dKVzKCdCKO.png?width=1200)
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6
こちらにもbin,include,libフォルダが存在する。
移動したら、
Ctrl+VキーでcuDNNのフォルダ(ファイル)を貼り付けてください。
上書きするかどうか表示が出たら『ファイルを置き換える』を
押して進めてください。
管理者権限が求められた場合、
続行して管理者権限で貼り付けをしてください。
cuDNN:『CUDNN_PATH』の登録
最後に、VCClientがcuDNNを使えるよう、
『環境変数』に『CUDNN_PATH』を登録します。
登録に関してはWindowsで説明します
(記事執筆者の環境がWindowsのため)。
他のシステムの場合も、CUDNN_PATHを環境変数として登録してください。
エクスプローラーで、『PC』を右クリックして
『プロパティ』を選んでください。
![](https://assets.st-note.com/img/1685447197997-OdoCmrYQ3f.png?width=1200)
すると『設定』画面として『システム』『バージョン情報』が
表示されます(Windows11の場合)。
『システムの詳細設定』を押してください。
![](https://assets.st-note.com/img/1685447222571-YEWwZ8KlX9.png?width=1200)
『システムの詳細設定』を選ぶ。
新たに『システムのプロパティ』画面が表示され、
『詳細設定』が表示されます。
『環境変数』を押してください。
![](https://assets.st-note.com/img/1685447248827-fkxxJWiE7T.png)
新たに『環境変数』画面が出ます。
下側の『システム環境変数』で『新規』を押してください。
![](https://assets.st-note.com/img/1685447287617-0ADwQkU6EK.png)
『新しいシステム変数』画面が出たら、
『変数名』に
CUDNN_PATH
『変数値』に
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6
と入力し、『OK』を押してください。
![](https://assets.st-note.com/img/1685447311767-bOrvwQvo6a.png?width=1200)
CUDNN_PATH
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6
を登録する。
システム環境変数に『CUDNN_PATH』が増えたら、
『環境変数』画面の『OK』を押し、
『システムのプロパティ』画面も『OK』を押してください。
VCClientの入手・展開
ここで本題となるVCClientを入手します。
下記URLに移動してください。
voice-changerという名前ですが、
こちらがVCClientの配布先になります。
![](https://assets.st-note.com/img/1685447376784-NbEqZU6Zye.png?width=1200)
ダウンロードファイルは下にスクロールするとあります。
『(1) 事前ビルド済みの Binary での利用』欄の
Version, OS, フレームワーク, link, サポートVC, サイズ
の書かれた表に、mac版、win版がそれぞれ存在します。
自身の対応するOSの、最新Version『v1.5.3.3b』の『normal』を
クリックし、ダウンロードしてください。
![](https://assets.st-note.com/img/1685447435045-pLIQO2AkgJ.png?width=1200)
対応OSやフレームワーク(機械学習ファイル)、
配布先linkやサポートしているVCが記述されている。
今回は『Version:v1.5.3.3b』『OS:win』をダウンロードする。
linkを押すとGoogleドライブ画面に移動し
『このファイルのウイルス スキャンを実行できません。』
と出ます。
問題なければ『このままダウンロード』を押してください。
![](https://assets.st-note.com/img/1685447770752-MZDALeKu70.png?width=1200)
『このファイルのウイルス スキャンを実行できません。』
となるが、『このままダウンロード』する。
保存する場所については
Cドライブ内に新規に『mmvc』フォルダを作り、
C:\mmvc\ の中に保存してください。
VCClientの動作異常を回避するために、この場所にしてください。
![](https://assets.st-note.com/img/1685447519913-YjBoOAvyZi.png?width=1200)
VCClientに関しては、
C:\ に新しく『mmvc』フォルダを作成し、
『mmvc』フォルダ内に.zipファイルを保存する。
もし『link』(Googleドライブ)からダウンロードできない場合、
表の下に『(*1) Google Drive からダウンロードできない方は
hugging_face からダウンロードしてみてください』
とあるので、hugging_faceを押してダウンロードしてください。
hugging_faceの場合は名前が見切れていますが、
ファイルにマウスカーソルを合わせることで
URLとバージョンが確認できます。
欲しいOS,バージョンのMMVCServerSIO(VCClient)をクリックし、
『download』からダウンロードしてください。
保存する場所については
Cドライブ内に新規に『mmvc』フォルダを作り、
C:\mmvc\ の中に保存してください。
VCClientの動作異常を回避するために、この場所にしてください。
![](https://assets.st-note.com/img/1685447587833-e8L3x9I9ow.png?width=1200)
名前が見切れているが、クリックでの移動や
マウスカーソルを合わせてURLを見ることでバージョンが分かる。
![](https://assets.st-note.com/img/1685447612063-iGguLuSSmu.png?width=1200)
『download』からダウンロードする。
C:\mmvc\ フォルダにダウンロードしたら、
『すべて展開する』や7zip 等の展開ソフトで
圧縮ファイルを展開してください。
『MMVCServerSIO』フォルダが作成されます。
以上で『必要ファイルを導入する』は完了です。
お疲れ様でした。
リアルタイムVCする
いよいよVCClientによるリアルタイムVCを行います。
起動・使用ファイル指定・デバイス指定してVC開始することで
リアルタイムVCができます。
初回起動と設定
先程展開した『MMVCServerSIO』フォルダに移動します。
![](https://assets.st-note.com/img/1685447805786-kq60OON9lI.png?width=1200)
多くのファイルがあるが、実行するファイルは決まっている。
(1) 事前ビルド済みの Binary での利用 に沿って
Windowsは『start_http.bat』をダブルクリックで実行してください。
Macは『startHttp.command』をダブルクリックで実行してください。
![](https://assets.st-note.com/img/1685447849310-siiFJfHNFL.png?width=1200)
Windowsの場合はこのファイルを実行する。
起動すると黒い画面が表示され、
初回起動時は必要なデータのダウンロードが始まります。
完了するまで待ちます。
![](https://assets.st-note.com/img/1685447871650-ZgZYBh4KPK.png?width=1200)
しばらくすると、『
ブラウザで次のURLを開いてください.
http://<IP>:<PORT>/
多くの場合は次のいずれかのURLにアクセスすると起動します。
http://localhost:18888/
』と表示され、自動的に新しい画面として
『Voice Changer Client Demo』が表れます。
![](https://assets.st-note.com/img/1685447892252-feuPJL2Iza.png?width=1200)
『多くの場合は次のいずれかのURLにアクセスすると起動します。』
と出ると、少ししてから新しい画面が出る。
![](https://assets.st-note.com/img/1685447908634-I7vpkpLh7I.png?width=1200)
ここからリアルタイムVCの設定・実行を行う。
追記(2023年10月27日)VCClientのUIが変わりました。
MMVC(v1.5,v1.3両方)を使用する際は
モデルスロット編集画面から、
blankとなる箇所のアップロードボタンを押して反映してください。
下記の内容は2023年05月29日の物になります。
MMVC_Trainerでv1.3(2023年05月29時点で
『MMVC_Trainer-main』を使用した方は『MMVCv13』を、
v1.5(『MMVC_Trainer-v1.5.0.0_SiFiGAN』)を使用した方は
『MMVCv15』を押してください。
![](https://assets.st-note.com/img/1685447954274-41uKnkNPZo.png?width=1200)
2023年05月29日時点で、
『MMVC_Trainer-main』を使った人は『MMVCv13』を、
『MMVC_Trainer-v1.5.0.0-SiFiGAN』を使った人は『MMVCv15』を選ぶ。
『MMVCv15』を選ぶと、次のような画面に切り替わります。
誤って選んだ場合や、別のVCに切り替える場合は
『re-select vc』から前の選択画面に戻ることができます。
![](https://assets.st-note.com/img/1685447984177-tmqIt6U7Ub.png?width=1200)
誤って選んだ場合などは『re-select vc』から戻る。
以降は『MMVCv15』の画面で説明を行います。
『MMVCv13』も基本的には同じ設定になります(※)
(※)v15とv13の差異は都度注釈を入れます。
はじめに、『Model Setting』を押して、
『Model Uploader』欄を表示してください。
Config(.json)、Model(.pt, .pth, .onnx),
Correspondence(※), upload が表示されます。
(※)v13にCorrespondenceはありません。
![](https://assets.st-note.com/img/1685448045889-1JQqzWwJQL.png?width=1200)
Config(.json)、Model(.pt, .pth, .onnx), Correspondence(※), upload の4項目が表示される。
ここでは、確認編で入手した
『config.json』『G_latest_99999999.onnx』『train_config_Correspondence.txt』
の3種類(※)のファイルを指定・使用します。
VCClientにおいてはmyprofile.confは使用しません。
(※)v13の場合は『config.json』『G_latest_99999999.onnx』の
2種類のファイルを指定・使用します。
Config(.json)には『config.json』を、
Model(.pt, .pth, .onnx)には『G_latest_99999999.onnx』を、
Correspondenceには『train_config_Correspondence.txt』を
右の『select』を押した画面(開く)で選択してください。
Correspondenceに関しては、選択すると下部の
『Speaker Setting』が自動で自身・目標声のID、F0(声の特徴量)、
推奨されるF0 Factorの値(recommend)が入力されます。
F0 Factorについては推奨値が表示されるのみで
自動設定されない点に注意してください。
![](https://assets.st-note.com/img/1685448146304-jaaDV3cK62.png?width=1200)
『select』を押すと表示される 『開く』(ファイルを選択する)画面。
各selectで対応する.json, .onnx, .txt各ファイルを指定する。
![](https://assets.st-note.com/img/1685448175854-5lPQ52Yo6W.png?width=1200)
選択したファイルの名前が記入される。
またCorrespondenceのファイルを選ぶと、
自動で 『Speaker Setting』に各パラメータが入力・表示される。
『F0 Factor』は推奨値が出るが自動では設定されないため
自身で推奨値などに合わせる必要がある。
選択してファイル名が記入されましたが、
この状態だとまだ使用できません。
『Model Setting』欄の『upload』を押してください。
ファイルがアップロードされ、完了すると
選択したファイルを使用できるようになります。
![](https://assets.st-note.com/img/1685448268667-lvPNEDXNpL.png?width=1200)
![](https://assets.st-note.com/img/1685448314207-FlnNZDouk9.png?width=1200)
アップロードが完了して『not uploaded』が消えるまで待つ。
アップロードが完了すると『Server Control』欄の
『Model Info』に選択ファイルが表示されます。
![](https://assets.st-note.com/img/1685448334900-VHxiYDCp1w.png?width=1200)
完了すると『not uploaded』が消え、
『Server Control』欄の『Model Info』に選択ファイルが表示される。
ファイルのアップロードが完了したら、
最後に入出力デバイスを設定します。
最初の『Device Mode』に関してはVCClientの説明に
それぞれのメリット・デメリットが記載されていますので
こちらをご確認ください。
大雑把には下記のようなメリット・デメリットがあります。
「client deviceはノイズ除去など使える/遅延が少し増える」
「server deviceは遅延が少ない/Chrome機能が使えない」
記事執筆者の環境だと、『client device』の場合は遅延の影響か
音が途切れ途切れになってしまったため、
『server device』を使用しました。
・client deviceの場合
『AudioInput』から使用するマイクを、
『AudioOutput』から変換結果を出力したいスピーカーや
仮想オーディオインターフェースを選んでください。
・server deviceの場合
デバイスの選択で、デバイス名だけでなく
『MME』等のデバイスドライバーの選択肢もあります。
ただしMMVCは24000Hzであるため、
基本的に『Windows Direct Sound』等の
44100Hz以上から使用できるデバイスドライバーが選択できません。
『AudioInput』『AudioOutput』ともに『MME』を選び、
デバイスの中から
[MME]と最初に書かれている入出力デバイスを選んでください。
![](https://assets.st-note.com/img/1685448456763-YLZE6vOTgt.png?width=1200)
デバイス選択肢から[MME]と最初に書かれたデバイスを選ぶ。
最後に『Quality Control』を設定します。
『Quality Control』を押してください。
![](https://assets.st-note.com/img/1685448485536-smBiZMF7YJ.png?width=1200)
ここからノイズ抑制やエコーキャンセル、入出力の音量調整や F0の解析方法を選べる。
『Noise Suppression』(ノイズ抑制)では
エコーやノイズを抑えることができます。
チェックを付けると有効になるため、チェックしておきます。
『Gain Control』(音量調整)では、
変換前音声・変換後音声の音量を調整することができます。
変換前のマイク音量が足りない、
変換後の音声が小さい時などに調整します。
VC中にも値を変えることができるため、
こちらは変換中に値を変えてみてください。
『F0 Detector』はF0(特徴量)の検出方法が選択できます。
『dio』(早い/品質やや悪い)と
『harvest』(品質良/やや遅い)があります。
基本的には『dio』のままで問題ありません。
![](https://assets.st-note.com/img/1685448596950-oOFXDz8jji.png?width=1200)
ここまで設定したら、リアルタイムVCを開始します。
上部の『Server Control』にある『start』を押してください。
しばらくすると『vol』『buf』『res』が変動し始め、
『res』の値が安定した辺りでリアルタイムVCができるようになります。
![](https://assets.st-note.com/img/1685448568906-PnXcvvV844.png?width=1200)
リアルタイムVCを開始する。
数秒すれば安定してリアルタイムVCができます。
もし音声がほとんど変換されない、たまに音が出る程度の時は
『Convert Setting』欄の『Input Chunk Num』を増減させてください。
『Device Mode』が『server device』の場合は下げる
(32や16など)方が安定するかもしれません。
安定性や変換速度・品質および
適応するパラメータはパソコンによって変わるため、
各自で調整が必要になります。
リアルタイムVC中も調整できるため、VCしながら値を変えて
安定する『Input Chunk Num』を探してください。
![](https://assets.st-note.com/img/1685448679206-8R5PS8tevy.png?width=1200)
ここから入力のデータサイズを変える。
『server device』の場合はデフォルト(48)より低いほうが 安定するかもしれないが、
この辺りはパソコンに依存する。
音声がリアルタイムVCできるようになったものの、
想定(ずんだもん)より声が低すぎる場合は
『Speaker Setting』の『F0 Factor』を調整してください。
リアルタイムVC中も調整できます。
recommendの値から設定・VCを行い、VC結果を聞きながら
F0 Factorの調節をしてください。
![](https://assets.st-note.com/img/1685448728403-JIxeYU64io.png?width=1200)
変換音声の声高はこの値で調節する。
まずはrecommendの値から初めて、VCを聞きながら調節する。
リアルタイムVCは『Server Control』の『stop』から停止します。
使用する音声デバイスを変える場合は、『stop』している必要があります。
安定してリアルタイムVCが出るようになりましたら
『リアルタイムVCする』は完了です。お疲れ様でした。
音声が出ない場合、VCClient公式のトラブルシュート
を参考に、どこから問題かを調べる必要があります。
また、その他のエラー等については
VCClientのissues Open(未解決問題) や
issues Closed(解決した問題) ,
開発者であるwokさん(w-okadaさん)のTwitter等から調べてください。
2回目以降の起動と設定
まず先に、タスクマネージャーから『詳細』タブを確認してください。
VCClientを終了した状態で、終了済みのはずの
『MMVCServerSIO.exe』(VCClient)が存在した場合、
全ての『MMVCServerSIO.exe』を『タスクの終了』してください。
終了状態で『MMVCServerSIO.exe』が残っていると、
2回目以降に起動したVCClientが正常動作せずVCできません。
2回目以降の起動時は、前回の設定を引き継いだ画面になります。
『MMVCv15』を選んでいれば、『Voice Changer Client Demo』の
画面が表示されてから数秒して、『MMVCv15』の画面および
変更後パラメータ設定が最初から表示されます。
ただし、モデルだけはアップロードされていないため
『Model Setting』から再度『upload』する必要があります。
アップロード元になるファイルは選択済みになっているため、
『upload』を押せば1回目と同様のファイルをアップロードします。
![](https://assets.st-note.com/img/1685448957983-axzEZtngKt.png?width=1200)
『Model Info』だけ無くなっているため、
『Model Setting』を開き 『upload』を押してアップロードする必要がある。
アップロード指定ファイルは前回から引き継がれているため、変更しなくて良い。
あとは『Server Control』の『start』でリアルタイムVC開始、
『stop』で停止、パラメータ調整に関しては1回目と同様になります。
VC音声をDiscord等の入力にする・VC速度調整
『リアルタイム編A_MMVC_Clientで実行』の
『VC音声をDiscord等のソフトの入力音声にする』
『VC速度を早める・品質を上げる』
と内容が同等になります(※)。
(※)VCClientにおいてはmyprofile.confが不要のため、
v1.3の場合、『VC速度を早める・品質を上げる』は対応しません。
VCClient内のパラメータを調整して対応します。
v1.5の場合はmyprofile.confが再ONNX化で関わってくるため、
VCClientを使用する場合でも『VC速度を早める・品質を上げる』
が関係します。
リアルタイム編B_VCClientで実行まとめ
必要ファイルを導入する
→CUDA11.6インストール、cuDNN8.5.0.96ダウンロードと配置、
VCClientダウンロードと展開リアルタイムVCする
→起動したらModel Settingで各ファイル指定、
使用デバイス指定してstart
パラメータはVCしながら調整する
最後に(開発者支援)
開発者である天王洲アイルさん(@IsleTennos)は
PIXIV FANBOXを開設しています。
有料プランもあるため、資金の支援が可能です。
MMVC開発を支援したい方は是非支援をお願いします。
無料プランでMMVC開発状況も書く(らしい)ため、
リンク先を登録しておくと便利だと思います。
FANBOXは下記URLになります。
公式サポート音声募集中
MMVC公式サポート音源は常時募集中です(FAQより)。
ご自身の声をMMVC公式サポート音源にしたい場合は、
開発者である天王洲アイルさんのTwitterか
MMVC DiscordサーバーのIsleTennos#5740(天王洲アイルさん)に
DMにてお問合せください。
MMVCで分からない事があったら(FANBOXで質問)
不明点はMMVCのDiscordサーバーで質問可能ですが、
それとは別の質問用窓口が作成されました。
下記の、MMVC開発者天王洲アイルさんのpixivFAOBOXにて質問可能です。
MMVC関係で分からないことがあり、
Discordに入る事が難しい、質問しにくい、といった場合は
『MMVCに関する開発者に問い合わせ』にて質問してみてください。
開発者支援(VCClient)
VCClientの開発者であるwokさんには
コーヒーを寄付する事ができます。
VCClientはMMVCの他にもRVC等の音声変換モデルにも対応しています。
資金の支援が可能のため、支援したい方は
『Voice Changer Client Demo』画面の
コーヒーカップのアイコンから寄付をお願いします。
![](https://assets.st-note.com/img/1685449206392-aVnAvw62Bh.png?width=1200)
『Voice Changer Client Demo』のコーヒーカップのアイコンを押すと 寄付画面が表示され、
そこから寄付できる。
次回予告(春日部つむぎ編_公式サポート組を使用)
次回は『春日部つむぎ編_公式サポート組を使用』として
ずんだもん以外の公式サポート音声(春日部つむぎ)の機械学習・VC手順を説明します。
ほとんどはずんだもんと同様ですが、
一部変更する必要のある箇所があります。
このため、『春日部つむぎ編_公式サポート組を使用』として説明予定です。
関連リンク
voice-changer(VCClient):https://github.com/w-okada/voice-changer
CUDA 11.6:https://developer.nvidia.com/cuda-11-6-0-download-archive
cuDNN:https://developer.nvidia.com/cudnn
7zip:https://7-zip.opensource.jp/
VB-CABLE:https://vb-audio.com/Cable/
YAMAHA SYNCROOM:https://syncroom.yamaha.com/play/dl/
MMVC開発者Twitter:https://twitter.com/IsleTennos
MMVC開発者FANBOX:https://mmvc.fanbox.cc/
MMVC Discordサーバー:https://discord.com/invite/2MGysH3QpD
VCClient開発者Twitter:https://twitter.com/DannadoriYellow
VCClient issues Open(未解決問題):https://github.com/w-okada/voice-changer/issues
VCClientissues Closed(解決した問題):https://github.com/w-okada/voice-changer/issues?q=is%3Aissue+is%3Aclosed
VCClient開発者_寄付先:https://www.buymeacoffee.com/wokad
MMVCニコニコ大百科:https://dic.nicovideo.jp/a/mmvc
記事執筆者Twitter:https://twitter.com/pipo_lll
記事執筆者Youtube:http://youtube.com/@pipo_lll
記事執筆者ニコニコ:https://www.nicovideo.jp/user/653583/
Imずんだもん王への道(旧版のMMVC導入解説動画)
ニコニコ Youtube
記事執筆者Note:https://note.com/pipo_lll
記事執筆者_欲しい物リスト(何かいただけたら嬉しいです)
https://amzn.to/37XNPOL
講座記事一覧 最初と編まとめ
前回:リアルタイム編A_MMVC_Clientで実行 次回:春日部つむぎ編_公式サポート組を使用
この記事が参加している募集
この記事が気に入ったらサポートをしてみませんか?