UDトーク+ゆかりねっとコネクターneo+VOICEVOXでボイスチャットをやってみよう

nmtd

前文

はじめに

近年、対戦ゲームなどをプレイする際にdiscord等のボイスチャットを使用して楽しむ方が増えているかと思います。そもそもゲーム内でボイスチャットが付いているゲーム等もありますね。
ただ、ボイスチャットで自分の声を出すことに抵抗のある方もいるかと思います。一方、特にチームプレイが必要なゲームでは、ボイスチャットがないとチームメイトとの連携が出来ないなど、不利になることもあるでしょう。
本記事はそういった方向けに、音声認識を使って、自分の声の代わりにVOICEVOX等の読み上げソフトにボイスチャットでしゃべってもらおうという内容になります。
少々長いですが、できる限り迷子にならないように記載したつもりですので、最後まで設定してみていただければと思います。

構成概要

どのような形で実現するか、必要なソフトを図にしてみました。
図内の①等の数字が、本記事の項番(=設定順)に対応しています。
なお、ゆかりねっとコネクターneoが.NET Frameworkを使っているので対応環境はWindowsPCとなります(この記事はmacで書いていますが・・・)。

必要ソフトと流れ

1. UDトークのインストール

UDトークはスマホで使用できる音声認識アプリです。
皆さんがしゃべった内容をテキストに変換してくれます。

1.1. インストール

androidであればplayストア、iphoneならappstoreから、UDトークを検索してインストールしましょう。

playストアでUDトークをインストール

1.2. 起動

インストールしたら早速開いてみましょう。
使用する前に、必要に応じて「利用規約（一般）」を見て、問題なければ
「タップして利用規約に同意する」をタップして開始しましょう。

UDトーク起動画面

1.3. 初期設定

同意後、初期設定画面が表示されます。

  • あなたの名前を入力してください。
    ここはトーク画面に表示される名前を入力するということで、
    実名を入れる必要はないです。
    また、画面に書いてある通りあとで変更可能です。

  • 自分が話す言語を設定してください。
    日本語以外でトークされたい方はタップして変更します。
    これもあとで変更可能です。

  • 上記2点が問題なければ、「タップしてUDトークを始める」を
    タップしましょう。

初期設定画面

タップすると、①写真と動画の撮影、②写真やメディアへのアクセス、③音声の録音への許可設定が表示されます。初期設定画面に書いてある通り、いずれも許可が必要なため、3回とも「許可」をタップしましょう。

各種機能へのアクセス許可設定

1.4. 初期設定完了後、動作試験

許可設定が終わると、初期設定は完了です。
まずは一度「トークを始める」をタップし、音声認識を試してみましょう。

トーク開始画面

トーク画面になりますが、初期状態は音声認識OFFとなっていますので、
下部の「タップして話す」をタップして、音声認識ONにした上で話しかけてみましょう。

トーク画面(音声認識OFF)

「タップして話す」だった文字が「タップして終了」になっていれば音声認識がONになっていますので、話しかけてみると・・・
画像のようにしゃべった内容がテキストで表示されます(すごい！)。
文字が青のうちはまだしゃべった内容が確定していない状態なのでしばらく待つか、「タップして終了」を押すと文字が黒くなり文章が確定します。
(このあと他ソフトとの連携の設定を進めますが、文字が黒くなった
タイミングでVOICEVOX等と連携が走るようなので覚えておきましょう)
音声認識できることが確認出来たらひとまずUDトークの設定は完了です。戻るボタンを押して元の画面に戻りましょう。

トーク画面(音声認識ON)

2. VB-CABLEのインストール

ここからはPCの設定になります。なお画面や操作についてはWindows11でのものとなっていますのでご了承ください。
まずはVB-CABLEという仮想オーディオデバイスをインストールします。
自分の声でボイスチャットする場合はマイクに入った声をチャットに渡しますが、VOICEVOXを使う場合はマイクから音は入りません。チャットソフトにVOICEVOXの音を渡すための仮想的なマイクだと思ってください。

2.1. ダウンロード

VB-CABLEのページ(https://vb-audio.com/Cable/)から、Windowsマークの方のDownloadボタンを押して、zipファイルをダウンロードしましょう。

VB-CABLEダウンロード

2.2. インストール

先ほどダウンロードしたzipファイルを展開し、お使いのPCが32bitの場合VBCABLE_setupを、64bitの場合はVBCABLE_setup_x64を 右クリック し、管理者として実行してください。
※32bitと64bitの見分け方
https://support.microsoft.com/ja-jp/windows/32-ビットと-64-ビットの-windows-よく寄せられる質問-c6ca9541-8dce-4d48-0415-94a3faa2e13d

setupファイルを管理者として実行

実行すると、インストール画面が表示されますので、「Install Driver」をクリックしましょう。

インストール開始

Windowsの設定によってはセキュリティ画面が表示されるかもしれませんので、その場合は「インストール」をクリックしましょう。

Windowsセキュリティ

その後インストールが開始され、完了画面が表示されます。
完了画面に記載の通り、使用するためには再起動が必要なのでWindowsを再起動してください。

インストール完了

2.3. 音声入力をVB-CABLEに変更する

再起動して来たのち、PCへの音声入力設定で、VOICEVOXからの音声を他のソフトに渡せるように変更してみましょう。
Windowsのスタートボタンを右クリックする等で設定を開き、サウンド設定を開きます。

Windows設定を開く
サウンド設定を開く

入力の設定でCABLE OutputがVB-CABLEの仮想マイクとなりますのでそちらを選択してください。

仮想マイクを選択

2.4. VB-CABLEへの入力が自分にも聞こえるようにする。

次に、仮想マイクに入った音がスピーカーから聞けるように設定します。
(通常のマイクは自分で喋るため、当然自分はその音は認識できるということで、マイクに入った音はスピーカー等から出ないようになっていますが、今回は仮想マイクであり、PCの中で完結するため出力しないと本当に音が入ったかよくわからなくなります)
サウンド設定画面の最下部、「サウンドの詳細設定」をクリックします。

サウンドの詳細設定を開く

開いた画面で、録音⇒CABLE Output⇒プロパティの順番にクリックします

CABLEのプロパティを開く

「このデバイスを聴く」にチェックを入れ、OKをクリックします。

CABLE Outputに入った音をスピーカーやヘッドホンから出す

OKをクリックして設定画面を抜けましょう。

3. VOICEVOX

3.1. VOICEVOXインストール

https://voicevox.hiroshiba.jp/
からインストールファイルをダウンロードしましょう。

ダウンロードしたファイルをクリックしてインストールを進めましょう。
基本的にそのまま進めばいいです。

3.2. VOICEVOX起動して話者を選択

完了をクリックするとVOICEVOXが起動してきます。
デフォルトでは「四国めたん」さんが選択されています。ここの選択されているキャラクターがあとで喋ってくれるキャラクターとなりますので、
変更する場合は彼女のアイコンをクリックし、喋ってもらいたいキャラクターを選択しましょう。
ソフトを起動させたままでないと、ゆかりねっとコネクターneoとの連携で喋ってくれないので、閉じないようにしましょう。

誰に喋ってもらうかを選択

4. ゆかりねっとコネクターneo

4.1. ゆかコネのダウンロード

https://nmori.github.io/yncneo-Docs/download/
から最新版をダウンロードしましょう。

ダウンロード

ブラウザによってはダウンロードの際警告が表示されるので、安全であることを主張して保存しましょう。

なかなか厳重な警告ですが、これでダウンロードされます。

4.2. ゆかコネのインストール

ダウンロードしてきたYNCneoのファイルをダブルクリックしましょう。

あとは次へやインストールを押してインストールを進めましょう。

内容はよく読みましょう
ショートカットを作成するのはお好みで

4.3. ゆかコネの起動

早速ゆかりねっとコネクターneoを起動しましょう。
NOW LOADINGになるので素直に待ちましょう。

NOW LOADING…

しばらくするとゆかりねっとコネクターneoの画面が表示されますので設定を進めます。

4.4. ゆかコネの設定(共通設定)

それぞれ以下のように設定を進めていきます。

  • あなたの話す言語・名前・・・言語はデフォルトで日本語が選択されており、名前は特に設定しなくても問題無さそうですが、必要に応じて設定を行ってください。

言語とあなたの名前を設定

  • 音声認識システム・・・UDトークを選択しましょう。その際ファイアウォールの設定が表示される可能性がありますのでその場合は素直に許可します。

UDトークを使用する
お使いのネットワークに応じて許可

  • 翻訳言語と翻訳エンジン・・・UDトークで認識した日本語を他の言語に翻訳する設定ですが、今回は日本語地声→日本語voicevox声ですので使用する必要がありません。(また、負荷の問題もあるため)1～4全て表示なし、OFFに設定しましょう。

表示なし、OFFはそれぞれ一番下の選択肢です。

  • 支援版翻訳の有効化・・・特に操作は不要です

  • テキストのタイミング・・・これはobs studioなど外部ソフトと連携して字幕を表示する際に、何秒間字幕を表示するかの設定です。現状は設定不要です。

  • 手動入力枠・・・これも特に設定不要です。

4.5. ゆかコネ設定(voicevox連携)

先程の共通設定の下部、プラグイン一覧の中に「読み上げ連携プラグイン」がありますので、左側のチェックボックスにチェックを入れ、右の設定をクリックします。
なお、お使いの読み上げソフトがVOICEVOX以外(VOCAROID、Cevioなど)の場合もこのプラグインです。

必要な機能にチェックを入れて設定します

すると次のような画面が表示されますので各設定を行います。

  • 本文を読み上げを行う・・・チェックを入れましょう

  • 使う読み上げエンジン・・・先程voicevoxで設定したキャラクターを選択しましょう(一部キャラクターは複数表示があるので注意)

  • 出力先・・・CABLE input(VB-Audio Virtual Cable)を選択します。

上記を入力し終えたら、テスト枠のSpeakボタンを押してみましょう。
すると枠内に表示されている言葉(デフォルトは「おはようございます」ですね)を喋ってくれるはずです。
右下のOKで設定を抜けましょう。

VOICEVOX連携設定

4.6. ゆかコネとUDトークを繋ぐ

4.5でゆかコネからVOICEVOXを操作可能な状態になりました。次に、
UDトークとゆかコネを連携させ、音声認識結果をVOICEVOXに渡せるように
します。

設定の前に、ゆかコネの音声認識システムの欄を開き、ユーザID(8桁の数字)を確認できるように開いておきましょう。

次にスマホのUDトークのトーク開始画面から、「いますぐトークを公開する」をタップします。

次に、「招待する」をタップします。

ゆかコネに表示されている、ユーザIDを入力し、OKをタップします。

先ほどの画面に戻りますので、戻るボタンを押すと、トーク画面が表示されます。

一見何も変わってないように見えますが反映されているので、戻りましょう。

トーク画面が表示されます。この段階ではまだ連携が終わってないので、しゃべってもVOICEVOXは反応してくれません。再びゆかコネに戻ります。

この状態で、ゆかコネの「招待確認」を押下すると、パネル欄に
【QR】UDトークのユーザ名　が表示されます。

そして、このユーザ名の部分をクリックし、選択された状態で「接続」をクリックすると、下の動作状況の部分が「ルームとの通信を確認」に変化します。これで連携は完了です。早速UDトークに音声認識させましょう！
あなたのしゃべった内容を、VOICEVOXがしゃべってくれるはずです！　

4.7. ゆかコネとUDトークの連携を終了する

ここまでで連携は完了しました。連携を終了する方法も記載します。
まずはゆかコネでUDトークユーザ名を選択して、切断をクリックすると、動作状況が通信を終了となります。
その後、UDトークユーザ名を選択して、DELキーを押すとユーザIDの表示が消えます。

そしてUDトークのほうは、戻るボタンでトークが終了できます。

4.8. ゆかコネ設定保存

ゆかコネを閉じても設定は保持されるようですが、一応設定をエクスポートしてバックアップを取っておきましょう。
設定保存・復元⇒エクスポート(設定保存)をクリックで保存です。

なんでもバックアップを取ることは大事です

4.9. メモ：PCを再起動した後などの流れ

手順が長いので、一回PC閉じたあとはどう起動すればいいんだっけ？
となりそうですので記載します。

  • (PC)3.2.でVOICEVOX起動、話者選択

  • (PC)4.3.でゆかコネ起動

    • (話者を前回と変える場合は、4.5から変更する)

  • (スマホ)UDトークを起動

  • (PC・スマホ)4.6.でUDトークと連携する

5. discordでボイスチャット

ここまでの流れで音声認識⇒VOICEVOXの連携ができました。あとはこの音声を使ってボイスチャットをしましょう。
今回はdiscordを例にとりますが、他のソフトの場合も、使用するマイクを「CABLE output」にすればいいということになります。

5.1. 入力デバイス設定

discordのユーザ設定を開きます。

ユーザ設定画面

左側の音声・ビデオをクリックすると、音声設定が表示されます。
入力デバイスを CABLE outputにしてください。

5.2. 出力テスト

音声設定の「確認しまし…」をクリックすると、音声入力した内容をそのままオウム返ししてくれます。
ただし、2.4.で実施した設定がONのままだと、マイクに入った音が聞こえる設定のため、discordが受け取ってるかよくわからなくなってしまうので、一度チェックを外しておきましょう。

チェックを外したら、「確認しまし…」をクリックして音声を入れてみましょう。VOICEVOXの音声が聞こえたら成功です！あとはボイスチャットでしゃべってみてください！

本当に認識されるのか最終テスト！

終わりに

如何だったでしょうか？
今回は音声認識でVOICEVOXと連携するところまででしたが、後日、さらに動画撮影ソフトと組み合わせて、VOICEVOXでゲーム実況動画作ろうという記事もアップロードする予定です。
また、おそらく一般的でない用語(キャラクターの名前、業界用語等)は
うまく認識してくれないと思われます。その際はUDトークやVOICEVOXの辞書設定をしていくと上手く認識するようになります。
それも別途記事にしたいと思います。

また、本記事の内容が間違ってる等ありましたらtwitterの方にでも
ご指摘ください(https://twitter.com/NmtdTwyo)。

それでは、長時間お付き合いくださりありがとうございました。

この記事が気に入ったらサポートをしてみませんか？