Zoomミーティング中にリアルタイムで字幕を付ける

gohandesuyo

発端

結構前になりますが、落合陽一さんのこのツイートを見て、これは是非やってみたいとずっと思っていました。

ただ、その時は具体的にどんなツールを使えば実現できるのかいまいちわかっていなかったのですが、最近改めて情報を探していたら実現するツールを教えてくれているツイートがありました。

という事で自分でも真似して試してみることに。

環境と使用ツール

物理的に準備するモノ
・Windows PC
・Android端末
・USBとtype-cの接続ケーブル（スマホとPCをつなぐケーブル）

使用するツール
・Zoom
・音声文字変換（Androidアプリ）
・Vysor（Windowsアプリ。スマホの画面をPCに送り込むことができる）
・OBS Studio（Windowsアプリ。複数の画面を重ねて表示させることができるアプリ。このアプリを使って字幕を表示させる）
・OBS Virtual Camera（OBSのプラグイン）

手順

1. Android端末にGoogleの「音声文字変換」をインストール

2. Android端末でUSBデバッグモードを有効にする
（これがどうやってやるのか最初分からなかった。。）
私のスマホ（Xperia 1 Ⅱ）の場合、
「設定」⇒「デバイス情報」⇒「ビルド番号」
で、ビルド番号の部分を素早く何回かタップする。
すると開発者向けオプションが有効になる。
開発者向けオプションで「USBデバッグ」を有効にする。
（設定の検索でUSBで検索すると出てくる）

3. WindowsPCに「Vysor」をインストール
Vysor

4. OBS StudioとOBS Virtual Cameraをインストール
OBS Studio
OBS Virtual Camera
両方ともインストールする必要がる。

5. スマホとPCをつなぐ

6. Vysorを起動してスマホの画面を表示する
USBデバッグが有効で正常に認識されていれば、Vysorの画面上部にスマホが認識される。
「VIEW」ボタン押下でPCの画面上にスマホの画面を表示することができるようになる。

7. OBS Studioを起動する
シーンを作成して、その中でソースを追加して配信したい画面構成を作る。
例えば、Androidの画面（音声文字変換アプリを起動した状態）、カメラ（自分の姿を映すよう）、PDF、のように画面を構成すれば、PDFと自分の姿と音声変換が同時に移っている状態を配信できるようになる

また、メニューバーの「ツール」から「VirtualCam」を選択。
Target CameraでOBS-Cameraを指定して「start」ボタン押下。
これでZoomでの配信が可能になる。

8. Zoomを起動する
ミーティングを開始し、カメラをオンにする。
カメラの選択から、「OBS-Camera」を選択する。
（OBS StudioのVirtualCamで指定したカメラを選択する）

9. 確認する
別端末からZoomミーティングに参加し、音声や映像に問題がないか確認する。

手順が一通り完了すれば、Zoomで配信、あるいはミーティングに参加するたびに後は5～8の手順を繰り返せばよい。
OBS Studioのシーンは、あらかじめいくつか作成しておくことで、ミーティング中に簡単に切り替えができる。

Macの場合

上記の手順はWindowsを前提にしていますが、Macでも同様のことができた。Vysor、OBS Studio、OBS Virtual Camera、それぞれ既にMac用にツールがあるので、それぞれインストールしてWindowsの場合と同じような手順で実施可能。
ただしスマホとつなぐ際にケーブルは別（MacだとType-C）になると思うのでそのあたりは注意。
OBS関連のインストールはこのあたりを参考に。
OBS Studioはセキュリティの設定で色々許可して上げないと、ソースの追加でウィンドウキャプチャをうまく追加できなくなったりするので注意。

Mac版のZoomもバージョンによってはVirtual Cameraに対応していないとのこと。私が試したときにもデフォルトの設定だとできなかった。
先の記事などを参考にコマンドを入力してZoomを再起動したらできるようになった。

リアルタイムでの字幕の意義

テレビ会議でリアルタイムで字幕が出ることで、聴覚に障害を持つ方でもスムーズに会議に参加できるという意義があります。
これは最初に載せたツイートで言及されていることで、社会的にすごく意義のあることだと思いました。

私の場合Zoomを使って講義をすることがあり、その時にこのような字幕表示があると非常に便利であると感じました。
講義によっては内容を録画して後で動画サイトにアップし、復習がしやすいようにしています。
この時、話している内容がリアルタイムで字幕として表示されていれば、音声をオフにした状態でもある程度内容が分かるようになります。

私は動画を見る時、字幕（テロップ）だけである程度内容が分かる動画であれば、音声をオフにしてみることも多いです。（仕事の休憩の合間など）
同じような動画の見方をしている人にとって、このリアルタイムの字幕はとても便利なものであると思います。

もちろん編集で分かりやすくテロップを入れてあげれば実現可能ですが、動画の時間が長ければ長いほど労力のいる作業になります。
動画そのものをメインのコンテンツとして活動している場合であればきちんと編集してテロップを付ける方が良いと思いますが、Zoom配信がメインでその内容を後でそのまま動画としてアップする場合などは、このような字幕システムを導入する方が便利そうです。

理想のオンライン講義スタイル

オンラインで講義をするときに、どのようなスタイルが理想的かはまだまだ模索中です。
講義内容によっても色々と変わりますが、現状、iPadを画面共有しながら実施するスタイルがベターだと感じます。
iPadの画面分割機能を使い、左側をPDFテキスト、右側を板書用のメモアプリとして使い、それを画面共有する方法です。

今後の理想形としてはその形に、今回試したリアルタイムの字幕を追加することができれば良いと感じていますが、スマホをつなぎつつiPadをつなぎながら色々やろうとすると、なかなかに処理が重くなるので考えものです。

おそらく字幕に関してもiPadの共有に関しても、もっと簡単に実現しているノウハウを持っている人はきっといらっしゃることでしょう。

もっと情報収集をしてベストな講義スタイルを模索していきます。

サポートいただくとめちゃくちゃ喜びます。素敵なコンテンツを発信できるように使わせていただきます。