OBS StudioとREALITYを用いてバーチャルキャラクターでビデオ会議に出る方法（Android/iPhone）

1. 「仮想カメラ」を使うと、Webカメラの代わりに任意のアプリの映像を用いてビデオ会議をすることができる

通常、パソコンからビデオ会議を行うと、Webカメラからの映像が流れますが、これを仮想カメラを用いることで、バーチャルキャラクターアプリからの映像に差し替えることができます。

パソコンで、組み込みだったり、USB接続のWebカメラを使ったテレビ会議では、Webカメラにうつった映像が、ビデオ会議アプリによって流れていきます。

ここでWebカメラの代わりに、仮想カメラ環境を用意することで、任意のアプリの映像を使ってビデオ会議をすることができます。

本エントリでは、OBS Studio（PC-Windows）とREALITY（スマホ）アプリを用いた手順を紹介します。
母艦がWindowsの手順を主に記載していますが、Macのケースについても最後に補足で記載しています。OBSのところは一緒ですし、読み替えてチャレンジ願います。

ただし、どのルートでもアプリ1つで手軽にホイッというわけにもいかずそれなりに手間はかかります。がんばっていきましょう。

2. 【手順1】OBS Studioをセットアップして、任意のウィンドウの映像を、仮想カメラに流しこめるようにする

2-1. OBS Studioのインストール

まずはOBS Studioをインストールします。
https://obsproject.com/ja/download

Windows向け最新の OBS-Studio-27.0.1-Full-Installer-x86.exe をダウンロードし、起動してインストール、起動すると以下のようになればOKです。（このスクショはウィンドウキャプチャでブラウザを指定したものを設定しています。）

2-2. 仮想カメラの動作確認とサイズ・水平反転設定

最近のバージョンOBS Studioには仮想カメラ機能がデフォルトで組み込まれていますので、右下メニューの「仮想カメラ開始」ボタンを押すだけで、OBS Virtual Cameraという名前の仮想カメラがすぐ動作します。

試しにGoogle Meetを起動してみて、以下のようにOBSでキャプチャしたブラウザウィンドウの画像がWebカメラ画像の代わりとしてプレビューできていれば正常に動作しています。

OBSのデフォルト設定はデスクトップと同じサイズ（？）の1920x1080など高めになっていますが、仮想カメラとしてはもう少し小さめで大丈夫のはずなので、1280x720あたりに設定を変更しておきましょう。

また、ビデオ会議アプリ側でカメラの映像が左右反転しており、設定で（Google Meetなど）変更できない際にはOBS側でソースを水平反転させましょう。

当該ソースを右クリック→変換→水平反転にて設定させることができます。

3. 【手順2-a】【Android】scrcpyをセットアップして、Androidデバイスの画面をWindowsパソコンで表示できるようにする

3-1. scrcpyのセットアップ

続けて、お手持ちのスマホがAndroidの際には、Androidスマホの映像をUSBケーブル経由で取り込めるようにしましょう。「scrcpyによる画面のミラーリング」で検索するともっと多くの情報が手に入ると思います。

scrcpyのインストール
https://github.com/Genymobile/scrcpy#windows

scrcpy-win64-v1.19.zipをダウンロードし、展開します。ここではC:ドライブ直下に展開したものとして、以下説明を続けます。

scrcpyはzipの中にすべて必要なものが入っていますので、コマンドプロンプトを起動し、「cd c:\scrcpy-win64-v1.19」「scrcpy.exe」と入力することにより、scrcpyが立ち上がりますが、Androidデバイス側の準備ができていないとエラーで終了してしまいます。そちらの準備をやっていきましょう。

上述の公開ページのRequirementsには「enabled adb debugging」としれっと一文のみが書いてありますが、Androidデバイスでadbデバッグを有効にする必要があります。リンク先のAndroid開発者向けドキュメント等を参考に、[設定]＞[端末情報]から、[ビルド番号]を7回タップした後、有効になった[開発者向けオプション]から[USBデバッグ]を有効にしましょう。

その後、PCとUSBケーブルで接続し、再度コマンドプロンプトより「scrcpy.exe」を起動し、以下のようにキャプチャされたAndroidのウィンドウが表示されれば成功です。PCとAndroidの初回接続時に、「USBデバッグを許可しますか？」という確認ダイアログが出ますが、PCが信用におけるデバイスであれば”常に許可する”のチェックを有効にして「OK」を押してしまってよいでしょう。

adb USBデバッグの設定を有効にしたのち、再度scrcpy.exeコマンドを起動してみましょう。以下のとおりミラーリングされた画面のウィンドウが表示されていれば、正常に動作しています。ここまでくればあと一息です。

scrcpyにオプションを指定することで任意の範囲の切り取り・縮小が可能との情報をもらったので、PCスペックやLAN帯域が心配な方はこちらもお試しください。

これはPCスペックに余裕ない人向けチューニングなんですが、Android→PCへWi-Fi画面転送パターンだと
--cropと-mオプションで「指定アス比で切り出し&出力合わせ縮小」まで端末側に持たせたほうがネットワーク的にもPC処理負荷面でも多少安定します。
こういう。
scrcpy --crop 1080:1080:0:600 -m 600 https://t.co/aUGnkhG18d

— Kei Nakazawa (@muo_jp) April 24, 2020

3-2. バーチャルキャラクターアプリとしてREALITYのインストール

手前味噌ですが、バーチャルキャラクターを表示するアプリとして、ここではREALITYでの手順を紹介させていただきます。

REALITY - バーチャルライブ配信アプリ - Google Play のアプリ https://play.google.com/store/apps/details?id=net.wrightflyer.le.reality

REALITYをインストールして、アカウントの新規作成、またはお手持ちのSNSアカウントでのログインを行ってください。以下のような手順で、だいたい1分程度で、自由に着替えができるクローゼットまでたどり着けると思います。

フロントカメラを用いたフェイストラッキングで動作する「アバターとしてのバーチャルキャラクターの調達」が本エントリの目的のため、紹介と手順が駆け足になってしまいますが、よければREALITYアプリにて、他の配信を視聴するなり、自アバターでの配信も試してみてください！

3-3. OBSの仮想カメラとしてのウィンドウ設定

バーチャルキャラクターの準備ができたところで、最後の仕上げとしてOBSに戻って設定をしていきましょう。

ソース欄の「＋」から「ウィンドウキャプチャ」を選択し、scrcpyのウィンドウを追加します。サイズは適当に調整してください。各種ビデオ会議アプリでは1280x720など横長のカメラ映像が設定されることを想定したレイアウトが多いため、縦長のスマホウィンドウを正方形でくり抜いて横に黒帯を入れてしまうのが手軽でオススメです。

再度Google Meetのプレビュー画面を確認して、上記のようにOBS Studioに取り込まれたAndroidスマホのミラーリング画面が表示されていれば成功です、おつかれさまでした！

もっと凝りたい際にはOBS側で自由に画を組んでみてください。REALITY側で単色壁紙を設定し、OBS側でクロマキーフィルタを用いると、ゲーム配信などにもそのまま使うことができます。

4. 【手順2-b】【iPhone】LonelyScreenをセットアップして、iOSデバイスの画面をWindowsパソコンで表示できるようにする

前項ではAndroidスマホにおけるscrcpyを使ったミラーリングの手順を説明しましたが、こちらではiOSデバイス向けにLonelyScreenを使ったミラーリングの手順を説明します。

LonelyScreenのインストール
https://www.lonelyscreen.com/download.html

「AirPlay」というiOS標準のリモートデバイスへのメディアキャスト機能があるのですが、LonelyScreenはそれをシンプルに映像表示することができるWindowsアプリです。

ダウンロードしてインストール、起動します。AirPlayサーバーとして動作するために必要なファイアウォール設定の確認ダイアログが出てきますので、許可しましょう。

LonelyScreenを起動後、iPhoneから接続します。コントロールセンターから画面ミラーリングをタップし、LonelyScreenを選択するだけです。LonelyScreenが表示されない際にはWindows PCとiPhoneが同一ネットワーク上に接続されているか、WiFiアクセスポイントの設定などを見直しましょう。

何も問題がなければしれっとLonelyScreenのウィンドウでiPhoneのミラーリングが開始されます。

REALITYのアプリをインストールして、アバターを用意しましょう。iOS版のインストール先は以下となります。

‎「REALITY - バーチャルライブ配信アプリ」をApp Storeで https://apps.apple.com/jp/app/reality-%E3%83%90%E3%83%BC%E3%83%81%E3%83%A3%E3%83%AB%E3%83%A9%E3%82%A4%E3%83%96%E9%85%8D%E4%BF%A1%E3%82%A2%E3%83%97%E3%83%AA/id1404176564

新規インストール後のアバターカスタマイズまでの手順についてはAndroid版と同様のため、省略させていただきます。前項を参照ください。

iPhoneの画面のミラーリングがうまくいっていれば、この先の手順もAndroid版と同様です。OBS Studio側で「ソース」より「＋」を押して「ウィンドウキャプチャ」を選択し、LonelyScreenのウィンドウを選択します。

サイズ調整や、変換→水平反転設定を行った上で、Google Meetなどのプレビューウィンドウでキャラクターが確認できていれば成功です、おつかれさまでした！

LonelyScreenはTrialに制限は無いようですが、個人用途/法人用途それぞれで使う際には必要なライセンスを購入の上利用しましょう。

また、AirPlay以外のキャプチャ方法としてはLightning-HDMIアダプタ経由でのHDMIキャプチャというルートもあります。

それ以外では、ApowerMirrorがリニューアルしてLetsViewというアプリになっていて、こちらもわかりやすく使いやすいです。ただし商用利用については問合せたところライセンス購入案内を返信いただいた（公開していいものなのかはわからないので控えておきます）ので、そちらについては別途ご確認のほどを。

利用ライセンスまわりがいろいろややこしそうなアプリが多い中、OSSルートで何かないものかと探していたところ、Freeと記載されているBlueberry（exe名からするとこれが正しそう）というものが見つかりました。
色空間の設定がおかしいのか、少々黄色が白飛びしたりしていましたが、画質・遅延方面で良好で、元気に動作していましたので選択肢の1つに加えておいてよさそうです。

5. 母艦がWindowsではなくMacのケース

PC側の母艦がWindowsではなく、Macのケースについても概ね一緒なので一緒に紹介しておきます。

お使いのスマホがAndroidの際にはMacでもscrcpyが使えますので同様の手順でお試しください。

お使いのスマホがiOSの際には、特別なアプリが不要になって、ちょっとかんたんになります。
USB-Lightningケーブルなど有線で接続した上でプリインのQuickTimeアプリを起動し、「新規ムービー収録」で表示されるプレビューウインドウにて、「ｖ」ボタンからカメラの取り込み先にiPhoneを選択することで、iOSデバイスのミラーリングが動作します。

スマホ画面のミラーリングがMac上で動作したあとはOBSやビデオ会議アプリでの設定は一緒です。

それではみなさん、自分の好きな姿でビデオ会議に参加して、よきバーチャルアバターライフを。