YYProbeを使って、ウェブ会議に音声認識結果を表示させる方法

こんにちは。リードトレーナーの大治郎です。
このブログでは、僕が担当している、YYProbeを使った実証実験の様子をレポートしています。今回は実証実験ではなく、少し面白いことをやってみたのでレポートします。

何をしたか？

ズバリ、動画を見たら一目瞭然です！何をしたのかというと、YYProbeとウェブ会議の画面を合成して配信することで、ひとつの画面でウェブ会議をしながら、リアルタイムで発言も確認できるようにしたのです。（手順の詳細はこのnoteの最後にPDFで載せています）。

どうやったのか？

用意するもの（カッコ内は今回使用したもの）

①　スマホ（iOS端末、iPhone XR）
②　リアルタイム音声認識アプリYYProbe
③　PC（OS：Windows 10）
④　PCカメラ（内蔵カメラ）
⑤　ウェブ会議ソフト（Zoom）
⑥　画面合成ソフト（OBS Studio：PCカメラとPCの画面を合成する）
⑦　仮想カメラ（OBS-VirtualCam：⑥をウェブ会議ソフトに映す）
⑧　ミラーリングソフト（ApowerMirror：スマホをパソコンにミラーリングする）

大まかな手順：　

手順1　ミラーリングソフト（ApowerMirror）で、スマホの画面（iPhone XR）をPCに表示させる

手順2.　手順1で表示させた部分とカメラ映像、またはPC画面の一部を画面合成ソフト（OBS Studio）で合成する

手順3.　手順2で合成した画面を仮想カメラ（OBS-VirtualCam）で、ウェブ会議ソフト（Zoom）に表示させる

手順4.　スマホでYYProbeを起動し、音声認識をはじめる

手順5.　YYProbeの設定画面で表示形式を「箇条書きモード」に変更する

なぜやったか？

　オンラインでの耳の不自由な方とのコミュニケーションや教育を行う際の補助ツールとして使えると考えたからです。発言をテキストで表示することができれば、オンラインでコミュニケーションをとっている時に、聞き取りづらかった発言や、聞き逃した発言を確認できると思ったからなのです。

ここがポイント！

　今回の試みで大切なのは、字幕（YYProbe）とウェブ会議の画面を分けていることです。
両者を分けると、ウェブ会議で資料などを画面共有する部分と字幕が一切干渉せず、とても見やすいのです。

この仕組みを使った実証実験について、次回はご報告します！

使用したソフト

スマホ
● ミラーリングアプリ：ApowerMirror

‎ApowerMirror – 画面ミラーリング

PC　
● ミラーリングソフト：ApowerMirror

ApowerMirror－スマホをリアルタイムにミラーリング/制御する

● 画像合成ソフト：　OBS Studio

Open Broadcaster Software | OBS

● バーチャルカメラ：　OBS-VircualCam

Releases 揃 CatxFish/obs-virtual-cam

リアルタイム音声認識アプリYYProbeのアプリはこちらからダウンロードください。

‎YYProbe - 会話の分析・可視化アプリ -

詳しい手順

詳しい手順はこちらのPDFでご覧ください（4MB）。

タイトル未設定