見出し画像

【超低遅延！リアルタイムボイスチェンジャー】Beatrice【使用方法＆オリジナル学習モデルの作成方法】

割引あり
みどりん(midorin)@立体音響、AI、配信、動画編集

Beatriceとは

VST３プラグインとして使用可能な超低遅延ボイスチェンジャーアプリケーションです。また、AIボイスチェンジャーソフトのVCCleint上で動作させることもできます。

VST3プラグインでは、DAW上でボイスエフェクトとして使用できるため、単なるボイスチェンジャーだけでなく、楽曲のボーカルエフェクトとしても活用可能です！
また、VST3プラグインソフトが使える動画編集ソフトPremireProやDavinchiResolveなどでも使用することができます！


RVCとの比較

beatriceの特徴
・自分の声をそのまま低遅延かつ高品質でボイチェンでき、元のキャラクターの話し方の特徴までは反映されない
・吐息などはノイズ判定？されるっぽく変換されない
・VCClient上で動作させる場合、CPUのみでの動作になるので、低負荷ではあるが、他にCPU負荷がかかるアプリケーションを同時に動かす場合はかなりノイズが発生してしまう そのため、配信などでVCClientでの使用する場合はかなり高スペックのCPUが必要
・VSTプラグインでの動作の場合はとても軽く、DAW経由だとかなり高品質な変換ができる。低スぺCPUならこちら推奨（配信向け）
・ほぼ遅延の無い変換が可能

RVCの特徴
・学習元のキャラクター性も付加したボイチェンができる
・学習データのしゃべり方が強く反映されるため、ボイチェン元の声との相性がある
・GPUで負荷を賄えるため動作の安定性は高く、VCClientを含む複数アプリケーションでの動作（ハイエンドPC必須）に向いている
・実用レベルの遅延だが、遅延はどうしても0.5秒程度は発生してしまう

最近、SynthesizerVの歌声データベースの声を素材として使用することは禁止されてきていますが、エフェクトとして使用する場合はどうなるんでしょうね…

使用方法(VCClient版)

１．VCClientのダウンロード

こちらから、2.0.47a-alpha以上のVCClientをダウンロード下さい。
NVIDIA製GPUをお持ちの方はCUDA版、それ以外の方Std版、Macの方はMac版をDLしてください。
※アルファ版になりますので、不具合や頻繁にアップデートがありますのでご注意ください。

２．VCClientのインストール

1.解凍してvcclient_win_cuda_2.0.47-alpha\dist\mainフォルダ内のmain.exeを管理者権限で実行。
2.黒い画面が消えたらstart_http.batを管理者権限で実行。
3.必要なライブラリのインストールが始まり、終わるとVCClientが立ち上がります。以降はstart_http.batを実行するとVCClientが立ち上がります。

３．Beatriceモデルを選択

デフォルト音源
以下のBeatrice_v2が左上に緑で表示されており、JVSと記載のあるモデルを使用ください。
音声の所から声を選ぶことができます。
※利用規約はJVSコーパスに準拠します。公式の説明を必ずご確認ください。


オリジナル音源
ご自身で学習したモデルをアップロードして使用できます。
※学習方法については以下に記載致します。

１．学習したモデルフォルダをzipに圧縮します。

２．VCClientにモデルをアップロード

３．Beatrice_v2を選択して、先ほど圧縮したzipファイルを選択します。

4.アップロードしたモデルを選択

４．変換実行

１．入力にマイクデバイスまたは、音声入力デバイスを選択
２．出力に音声を出力を設定するデバイスを選択（配信等に使用する場合は仮想オーディオケーブルVB-Cableを選択）

３．スタートを押すとボイチェン音声が出力されます。
必要に応じてピッチ、フォルマントを調整してください。
モニタにイヤホンやスピーカーデバイスを選択することで変換音声を聞くことができます。

使用方法（VST3プラグイン版）

１．Beatriceをダウンロード

こちらからダウンロードをして解凍してください。

２．解凍したVST3プラグインをVST3プラグインフォルダに移動

beatrice_2.0.0-beta.0.vst3フォルダを以下の場所に移動してください。
もしVST3フォルダがなければ作って入れてください。

C:\Program Files\Common Files\VST3

OBSでの使用方法（配信での使用方法）

1.Waves Centralをダウンロードします

OBSはそのままではVST3プラグインが使用できないので、使用できるようにします。
Wavesのアカウント作成が必要になります。

Wavesは音楽関係のプラグインを数多く扱っています。
配信にも便利なプラグインが数多くあり、自分も色々なプラグインを活用しています。

2.StudioRackをインストール

WavesCentralアプリからStudioRackをインストールします。（無料です）
これはV14Pluginシリーズの中にあるので、右上のViewからV14 Pluginsを選んでください。

3.OBSのマイク設定

音声入力キャプチャを追加し、お使いのマイク入力デバイスを設定してください。

音声入力キャプチャを右クリック→フィルタ→VST 2.xプラグインを選択

Waves StudioRack for OBSを選択
→プラグインインターフェースを開く
→メニューが出たらCancelを選択

4.StudioRack for OBSの設定

Scan Single Pluginを選択
→beatrice_2.0.0プラグインを選択

プラグインの場所👇

"C:\Program Files\Common Files\VST3\beatrice_2.0.0-beta.0.vst3\Contents\x86_64-win\beatrice_2.0.0-beta.0.vst3"

※これでなくすべてのプラグインを読み込むと重くなるため、必要なものだけ読み込むようにしましょう。

読み込めたら、左の枠の一番上の＋をクリック
→VST3→Project Beatrice→beatrice_2.0.0

最初に読み込むとバグで以下のように白い画面になる場合があります。
その際は一度beatrice画面を閉じてください。

再度Beatriceを挿入したところの＋をクリック
→VST3→Project Beatrice→beatrice2.0.0
再度この工程を踏むことで通常通り開くことができます。

あとはモデル、ピッチなどの設定をすれば完了です。
プロパティでモニターと出力にして変換されているか確認してみてください。

DAWおよびDiscordでの使用方法

1．DAWを立ち上げる

任意のDAWを立ち上げてください。
DAWによって操作方法が若干ことなりますが、基本的にどのDAWでもやることは同じです。

フリーで使用できるDAWのおすすめ

DAWの中ではReaperがおすすめです。英語にはなりますが、一番操作が簡単な上に機能が豊富（Beatrice目的だけであればあまり関係ないかもですが）です。


Cakewalkもフリーで使用できますが、操作性にやや癖があります。

ProToolsもフリーで使用できますが、こちらはVST3ではなくAAXという形式になりますので使用できないかと思います。

Cantabile Lite
こちらは普通のDAWとはちょっと違うのですが、こちらはノード形式でプラグインをつなげていく形になります。
こちらの使用方法は後述いたします。

2．新規オーディオトラックを追加しプラグインを挿入

Studio Oneの場合
エフェクト→全体の中にあります。

ここから先は

3,764字 / 12画像

この記事が気に入ったらチップで応援してみませんか？