バーチャルキャストとDiscordを使ってリアルタイム音声翻訳しつつ、配信する

VRソーシャルサービス「バーチャルキャスト」とDiscordを使って配信する際に、リアルタイム音声翻訳を使う場合の設定メモです。
正直、めちゃくちゃ大変でした。翻訳システムは再考の余地あり。

課題点 : 出演者さんの話すスピードに翻訳の「表示が」追いつかない。
翻訳そのものはほぼリアルタイムでできていたのですが、表示の更新が話すスピードについていかなかったです。手動で何度もリロードする必要があり、「VR空間で」ワンオペは無理、という結論でした…
しかもヒアリングしていて分からない単語を調べるということができないので、Luppetや3tene等のデスクトップVTuberアプリを使用したほうがよさそうです。

使用システムについて

使用システム :
・アバター・背景表示　バーチャルキャスト(司会2人)、Luppet(ゲストさん)
・音声　Discord
・サウンド(バーチャル)ミキサー　VoiceMeeter Banana
・配信アプリ　OBS
・翻訳　(最終的に)Google翻訳
・翻訳結果の画面共有　Discord
・ゲストさんアバター画面共有　Skype

といった具合に、また超絶ややこしいことをしておりました。
アバターと背景をバーチャルキャストで操作、その映像とゲストさんのLuppet映像をOBSで合成。中央がLuppetで合成されているゲストさんです。あまり違和感がないですね。

自動翻訳は別マシン・別アカウントで配信しつつDiscordで画面共有をする。音声はDiscordで一括管理して、サウンドミキサー経由でOBSへ。サウンドミキサーで私の声と出演者さんたちの声を合わせて翻訳アプリに突っ込むという形です。

出演者さんのVR環境にトラブルが発生して、ゲストさんのみ直前にLuppetに切り替えたのですが、画面共有を2つのアプリで行なった場合にバーチャルキャストのディスプレイ表示の片方が配信途中でフリーズして戻らないという事態になりました。そちらは翻訳結果を表示した画面だったので、ものすごく慌てていました…

音声まわりの設定

音声まわりの設定はこんな感じです。