AIリアルタイムボイスチェンジャーMMVC_v1.5_導入講座_概要編

2023年5月4日 22:14

※2023年10月21日：東北きりたん正式リリース+アプデによる注意事項に伴い内容変更

 講座記事一覧　最初と編まとめ：ココ
前回：無し　次回：構築編
こんにちは。ピポッです。
AIリアルタイムボイスチェンジャーである
I'mずんだもん王への道_MMVCの導入講座動画を作っている者です。

MMVC導入講座について、文章での解説があった方が良いと考えたため、
導入講座の記事を書きます。
いくつかの編に分けて導入から使用までを解説します。
編は分岐を含め15編くらいになる予定です。増減するかもしれません。
編としては下記のような流れを想定しています。

なお、当導入講座ではチュートリアル担当である
『ずんだもん』の声になる事を目標にします。
別の声にする方法も『春日部つむぎ編』から追って説明しますが、
まずは『リアルタイム編』まで『ずんだもん』になる事を目指します。

当記事では
『MMVC_v1.5_導入講座_概要編』
として、『MMVC_v1.5』の概要を記述します。
『MMVCって何？』という話や、『どう使うの？』『良い所難しい所は？』
という点を話します。
具体的な導入手順は、後の編で分けて説明します。

MMVCって何？

一言で言うと『AIリアルタイムボイスチェンジャー』です。
『誰でも』『好きな声に(※1)』『リアルタイムで』『無料に』
声変換できる点が特徴です。
以下のURLで配布されています。
Trainer(機械学習)：https://github.com/isletennos/MMVC_Trainer
Client(ボイチェン)：https://github.com/isletennos/MMVC_Client
(※1)MMVC、または『機械学習』への使用がOKな音声に限ります。
詳しくは後述のニコニコ大百科『MMVC』参照。

変換できる声としては、公式サポートとして
『ずんだもん』『四国めたん』
『九州そら』『春日部つむぎ』が存在します。
記事執筆時点ではMMVCバージョンはv1.3.x.xですが、
MMVC_v1.5では新たに『刻鳴時雨』が公式サポートされます。
また、2023年の10月20日に『東北きりたん』も
MMVCで使用可能になりました(※2)。
(※2)正式リリースに伴い「使用可能」に変更。

MMVC公式サポート音声キャラクター　
1：ずんだもん；子供っぽい声　2：四国めたん；ハッキリした女性声　
3：九州そら；大人っぽい女性声　4：春日部つむぎ；元気な女性声　
5：刻鳴時雨；クールな声　6：東北きりたん；落ち着いた女性声
画像引用元：ずんだもん、四国めたん、九州そら、東北きりたん
 春日部つむぎ
 刻鳴時雨

その他、
『MMVCへの使用をOKとしている声』
『機械学習への使用をOKとしている声』
に声変換する事ができます。
ニコニコの大百科に詳しくMMVC可否リストや
音源一覧があります(※3)。
https://dic.nicovideo.jp/a/mmvc#MMVC_list
(※3)2023年05月04日時点で、
MMVCのニコニコ大百科の記事は殆ど私(ピポッ)が記述した物です。
公式ではなく有志がまとめた物である点をご了承ください。

2023年05月04日時点でのMMVC使用可否+収益化可否リスト
引用元：ニコニコ大百科『MMVC』

MMVCの開発は天王洲アイル(@IsleTennos)さんが行っています。
加えて、有志の方々により開発・改善が行われています。

どうやって使うの？

大雑把に段階を分けると

自分の声を録音する（100文～）
機械学習する（数時間～数日）
リアルタイム音声変換する

という段階を経て使うことができます。
各段階の詳しい手順は今後の編で記述します。

MMVCの良い所は？(v1.5)

ボイスチェンジャーとして、下記に列挙するような点が良い所です。

リアルタイム音声変換できる

何より、リアルタイム変換速度がメリットです。
使用するパソコン(※4)にもよりますが、
早ければ遅延0.3秒～0.5秒で変換できます。
今後の開発でもっと早くなるかもしれません。
(※4)NVIDIA GPU, AMD GPU搭載の場合。
CPUやIntel GPUでもMMVCは使用可能ですが、
遅延時間を伸ばす必要があります。

1ボタンで別キャラへ声変換に切り替えできる

設定や前準備にもよりますが、特定の準備をすると
複数のキャラへの声変換が可能で、1ボタンで切り替える事ができます。
演じ分けなど、複数の声を素早く使い分けたい時に有効です。

全言語対応・別言語変換が可能(v1.5)

英語など、日本語以外での変換も可能です。
日本語の声→英語の変換音声、英語の声→英語の変換音声
といった事ができます。
この機能はMMVC_v1.5から追加されました。

歌う事ができる(v1.5)

歌うことができます。
正確には、音程の幅が保てるため、
抑揚や音程変化の大きい歌声の変換が可能です。
この機能はMMVC_v1.5から追加されました。

MMVCの難しい所は？(v1.5)

ボイスチェンジャーとして、下記に列挙する点が導入で難しい所です。

自分の声の録音が必要になる

『▼どうやって使うの？』にも書いてある通り、
最低100文の自分の声の録音が必要です。
MMVC内でも録音のサポート機能はありますが、
いずれにせよ100文は自分の声の録音データが必要です。

録音サポート画面および録音文章の一部。読み仮名付き。
こんな感じの文を100文ほど読み、録音する必要がある。
引用元：02_Rec_Voice.ipynb

数時間～数日の機械学習が必要になる

自分の声を好きな声に変換するために、機械学習が必要になります。
機械学習自体は『Google Colaboratory』
というGoogleのサービスで無料でできます。
この機械学習に数時間～数日の時間が必要になります。

変換結果の感覚が話者に引っ張られる(v1.5)

MMVC_v1.5は性質上、話者の影響が出やすい物になっています。
このため『変換先の声にはなっているけど、何か変わった？』
と感じる可能性があります。
この性質はv1.5の物で、v1.3では異なります。

『話者に引っ張られる、ってどういう事？』という点は、
MMVC_v1.3とMMVC_v1.5を比較した下記の動画をご参照ください。
（記事執筆者とは別の方が作成した動画になります）
https://www.nicovideo.jp/watch/sm42065779

概要編まとめ

MMVCって何？
→リアルタイムボイスチェンジャーです
どうやって使うの？
→自分の声を録音・機械学習・リアルタイム変換
　の流れで使います
MMVCの良い所は？(v1.5)
→リアルタイム性・複数話者使用
　多言語対応・歌える点
MMVCの難しい所は？(v1.5)
→録音が必要・機械学習に時間がかかる
　話者の影響が出やすい点

以上が『MMVC_v1.5_導入講座_概要編』になります。
なんとなくMMVCが何なのかを把握できたら幸いです。

最後に(開発者支援)

開発者である天王洲アイルさん(@IsleTennos)は
PIXIV FANBOXを開設しています。
有料プランもあるため、資金の支援が可能です。
MMVC開発を支援したい方は是非支援をお願いします。
無料プランでMMVC開発状況も書く（らしい）ため、
リンク先を登録しておくと便利だと思います。
FANBOXは下記URLになります。

公式サポート音声募集中

先述とおりMMVC公式サポート音声キャラは4名(6名)ですが、
MMVC公式サポート音源は常時募集中です(FAQより)。
ご自身の声をMMVC公式サポート音源にしたい場合は、
開発者である天王洲アイルさんのTwitterか
MMVC DiscordサーバーのIsleTennos#5740(天王洲アイルさん)に
DMにてお問合せください。

MMVCで分からない事があったら(FANBOXで質問)

不明点はMMVCのDiscordサーバーで質問可能ですが、
それとは別の質問用窓口が作成されました。
下記の、MMVC開発者天王洲アイルさんのpixivFAOBOXにて質問可能です。
MMVC関係で分からないことがあり、
Discordに入る事が難しい、質問しにくい、といった場合は
『MMVCに関する開発者に問い合わせ』にて質問してみてください。

次回予告（構築編）

次回は『構築編』として、録音・機械学習の準備を説明します。
やることは
『Googleアカウントを作る』『GoogleColabで環境構築する』です。
図や手順書がある方が分かりやすいため、
『構築編』として記事執筆予定です。