Mac × iPhone で zoom にリアルタイム字幕

落合陽一さんの記事を読んで、web会議中に映像は動いているけど、音飛びしてもう一度聞き直すことがときどきあるのを思い出しました。自分の環境でも実現できないか試したまとめです。利用するデバイスはiPhone、Macです。

■iPhone / Speechy

‎音声をテキストに変換する - Speechy Lite

Speechyの画面に表示されていく、認識された文章が字幕に表示されます。フォントサイズなどを好みで調整してください。

■Mac / QuickTime Player

Mac - iPhone/iPad のキャプチャ動画を撮影 - QuickTime Player - PC設定のカルマ

QuickTime Playerの新規ムービー収録で、iPhoneの画面をMacにミラーリングします。字幕には、iPhoneの画面が表示されていれば良いので録画は不要です。

■Mac / OBS

Open Broadcaster Software | OBS

johnboiles/obs-mac-virtualcam

●インストール
OBSに仮想カメラ拡張をインストールします。ツールメニューに Start Virtual Camera が追加されて、他のアプリケーションからビデオデバイスとして認識されるようになります。

●起動コマンド
OBSで他のアプリのウィンドウを取り込む場合、コマンドで起動する必要があります。

open /Applications/OBS.app/Contents/MacOS/OBS --args -picture

●シーン設定
3つのソースを追加します。映像キャプチャデバイスでMacの内蔵カメラ、色ソースで字幕背景、ウィンドウキャプチャでQuickTime Playerウィンドウです。

字幕背景は、Speechyの画面からクロマキーで抜き出した文字が白なので、暗いものを用意しています。QuickTime Playerウィンドウは、Speechyのウィンドウ上下に字幕に不要なUIが含まれるので、トリミングして表示しています。

■Mac / zoom

One platform to connect | Zoom

●仮想カメラを利用できるようにする
macのzoomは、少し前のリリースから仮想カメラが使えなくなっています。Library Validation Entitlementが有効になったことで、CoreMediaIO プラグインを使っている仮想カメラは使用できなくなったそうです。対応はこちらで詳しく説明してもらえていました。

必要最小限の自己署名で zoom の 仮想カメラ (mac-obs-virtual-camera) を使えるようにしてみた。 - Qiita

●ビデオ設定
zoomの設定→ビデオ から、カメラを OBS Virtual Camera Device を選択します。

■まとめ

私の発音が悪いのか、音声認識の精度はそんなに高くないですが、目的としては「ときどき音飛びしたときに、何を言ったのかを想像できる」で十分なので、まずはこれをしばらく使ってみて、ブラッシュアップしていけば良いかな、と考えています。

緊急事態宣言 アドベントカレンダー の記事として書いてみました。