VRアートのライブパフォーマンスPC構成

概要

SnowXは3DのVRアートを、3D空間内で売買するプラットフォームです。VRアートはライブペイントやライブパフォーマンスといったような、観客の前でリアルタイムの制作を行う例が増えており、SnowXでもライブパフォーマンス中に制作されたアートも複数取り扱っています。
SnowXはチームとしてアーティストの方々のライブパフォーマンスを支援してきました。この文書では、より多くのアーティストの方が、より良い形でライブパフォーマンスできるよう、ノウハウについて共有します。

VRアート

VRアートは、VR空間内で制作されるアートの総称です。この文書は主にTilt Brush・Open Brush・Multi BrushなどのTilt Brush系アプリを想定していますが、他のアプリにも部分的に応用可能です。

ライブパフォーマンス

ライブパフォーマンスは、VRアーティストが壇上等に立ち、VRヘッドセットを装着して3Dアートを製作している様子を、観客はスクリーンやプロジェクタを通して閲覧するイベントです。5分から15分程度の時間枠で、アーティストが事前に用意した音楽にあわせてパフォーマンスするのが一般的です。

課題

VR画面の見せ方

VRアートのライブペインティングでは、アーティストがVRヘッドセットを通してみている3D空間ないの映像を、観客に２次元の画面を通して見せる必要があります。
VRのヘッドセットメーカー(Meta Quest) やVR側アプリ(SteamVRやTilt BRushなど)で、画面に出力する機能が用意されているので、その機能を活用します。

BGMの再生

ライブパフォーマンス中、アーティストは事前に用意したBGMに合わせて製作します。特に、制作中はVR空間内の映像に視覚を奪われるため、ライブパフォーマンス自体のタイミングを、BGMの曲の進行に合わせて行うケースが多いと思われます。アーティストはヘッドセットを装着した後に曲を再生する必要がありますが、現状、会場の担当者や、PC操作の協力者を用意し、再生を依頼する方法がベストです。

どうすればVRアートはわかりやすいか

VRアートライブの問題点として、観客席から見て、画面上で制作が進むアートと、アーティストが描いている様子との関連性がわかりにくい問題があります。事前収録のMR合成はわかりやすいのですが、VRアートの場合のベストな方法については、解決策がわからず、模索中です。

安定してライブパフォーマンスをするにはどういう構成がよいか

本稿ではこちらについて解説します。

構成例

まず、VRアートのライブパフォーマンスを実現する構成例をいくつか挙げ、それぞれの構成要素について、詳細を後述します。

構成例1: Quest 2 + PC (Oculus Casting)

最もシンプルな構成は、Meta Quest 2のヘッドセットと、ブラウザが動くPCを用意し、標準で提供されているキャストの機能 https://www.oculus.com/casting を使う方法です。BGMは会場に事前に音声ファイルを渡せるようであれば、最もリスクは少ないように思います。
この構成の利点は、ヘッドセット側とPC側、どちらにも特段設定が必要ないことです。PC側もWindowsだけではなく、Macや外部ディスプレイ出力可能なデバイスなら、スマートフォン・タブレット等でも対応可能です。
また、会場側がHDMI等の入力端子を用意できず、会場側の端末からのキャスティングも対応可能です。会場側のPCでキャスティングする場合、セキュリティ上、キャスティング画面のログインのため、Facebookアカウントに加え、Metaアカウントを設定しておくことが望ましいと思われます。
Oculus標準のキャストを使う最も大きなデメリットとして、会場側のネットワーク側でWiFiクライアント間の通信ができない設定になっている場合、キャストがうまくいかない可能性が挙げられます。この問題の回避策は後述します。

構成例1a: Quest 2 + PC (Oculus Casting) + OBS

会場が特殊なディスプレイ構成となっているなど、OBSを用意することで回避できるケースは多々ありそうです。ライブパフォーマンスを複数回行う予定がある場合、OBSを挟んだ構成を用意しておく方が対応力は増えるように思います。詳細は後述します。

構成例2: Quest 2 + PC (SideQuest)

Oculusのキャスト機能の代わりに、Quest 2をUSB接続した上で、SideQuest等の（Android標準の）機能を用いた映像転送をする方法があります。この方法のメリットは3つあり、
1. パススルー機能を使う場合、パススルー映像もキャスティングできる
2. 標準のキャスト機能では切り取られている部分が得られる
3. 会場側ディスプレイが正方形(1:1)の場合に切り取る部分が最小になる
が挙げられます。私が試した限り、画質面でのメリットはそこまで大きくない印象でした。
SideQuestのキャスティング機能はPC側で全画面表示になるようなサイズの調整が難しいので、OBSとの併用を推奨します。

構成例3: Quest 2 + PCVR

アートの制作自体をQuest 2上のアプリではなく、PC上のアプリで行うケースです。
無線での画面共有の不安定さに懸念がある場合、有線のOculus Linkを使う方法が最も安心感があると思います。
AirLinkやVirtualDesktop等の無線接続を使う場合、会場のWiFi環境によっては接続が確立できない可能性があります。有線での接続環境を用意するか、下記会場のWiFi問題の回避策を参照いただければと思います。

構成例4: MultiBrushの二人構成をPC2台で行う

複数人でVRアートのパフォーマンスを行う場合、MultiBrushなどのマルチプレイヤー対応アプリでアートを製作し、観客側画面には、適宜表示するアーティストを切り替える方針になると思います。最もシンプルに実現する方法は、PCをQuest 2と同じ台数用意し、表示する画面はAtem MiniなどのHDMIスイッチャーで選択する方法です。
問題点としては、HDMIスイッチャーはそこそこの金額になる点と、会場側で大き目の機材設置場所が必要になる点が挙げられます。

なお、リソース的に実現可能な場合、アーティスト2人とカメラマン1人の構成にし、MultiBrushには3人で入る方が、観客にはわかりやすいかもしれません。

構成例5: MultiBrushの二人構成をPC1台で行う

アーティスト複数人のライブパフォーマンスを１台のPCで行うことも可能で、この場合は１台のPC上で複数のブラウザを起動し、OBSで画面の切り替えを行います。ブラウザはChromeとEdgeのような、そもそも別のものにする方法でも実現可能ですが、Chromeにプロファイルを追加する方法でも対応できます。
リスクとして、PC側に何らかの問題が発生した場合、イベントの継続が不可能になる懸念があります。複数台のPCとAtem Mini等のHDMIスイッチャーを採用する構成では、どちらかの画面のみを表示し続ける対応が可能なため、ある程度のリスク軽減が可能です。

問題の回避策

会場のWiFiが端末間通信を許可していない

会場によっては、セキュリティの向上のため、クライアント間の通信を許可していない場合があります。Oculusのシェアリングは、PCとMeta Quest間でのクライアント通信を必要とするため、接続が許可されていない場合は、同じWiFiに接続していてもシェアリングが確立できません。

この場合の解決策として、Windows PCを使っている場合のもっとも簡単な方法はWindows標準のモバイルホットスポット機能を使うことです。

(会場のWiFi) - (Windows PC) - (Quest 2)
のような接続をすることで、会場のWiFiの制約を回避し、Quest 2とPC間の通信が可能です。設定方法の詳細は下記リンクを参照してください。
https://support.microsoft.com/ja-jp/windows/c89b0fad-72d5-41e8-f7ea-406ad9036b85

緊急避難的な対応としてはこの方法でもよいのですが、状況によってはWindows PCが作成するWiFiが2.4GHzのアクセスポイントになってしまい、画面共有に遅延が生じる可能性があります。また、安定性もPCのハードウェア次第です。

もう一つの方法として、小型の無線ルーターを使用する方法があります。

(会場のWiFi) - (小型ルータ) - (PC, Quest 2)
のような接続になります。私はこちらのルーターを持ち歩いています。https://amzn.to/3UINKnH

会場のWiFiが来場者と共有されていて不安定

WiFiに関連するもう一つのリスクとして、来場者数が増えると会場のWiFiが不安定になる可能性があげられます。リハーサル時はうまくいくものの本番になると接続がうまくいかないことも想定されるため、厄介です。回避策としては、上記同様、自前のルータを用意するほうが安全といえます。

キャスト時に上下が切り取られる

Oculusのキャスト機能は、4:3か16:9のいずれかでしかキャスティングできず、16:9の場合は中央部分でクロップされます。会場側が4:3のフルスクリーン入力を受け付けられる場合は問題ないのですが、大抵の場合、FullHDなど、16:9の入力が一般的です。アーティストの方に寄るのですが、制作にはクセがあり、VR空間内でのペン先を常に画面上部または下部付近で描かれる方もいらっしゃり、その場合ペン先部分が切り取られてしまう可能性があります。
私は画面を直接キャスティングするのではなく、OBSを使用する方法を採用し、画面の位置を調整しています。手順は以下の通りです。
1. 会場側のディスプレイを「拡張」の設定で接続する
2. ブラウザにキャスティングする
3. OBS上で画面ソースを作成する
4. OBS上で、Ctrlキーを押しながら画面ソースを適切な位置に切り取る
5. ソースを拡大し、全画面に収まるようにする
6. プレビュー画面を右クリックし、外部出力画面にOBSの画面を表示させる
こうすることで、OBS上のプレビューに出ている画面を、会場側に直接出力可能です。

トラブル発生時など前撮り映像への切り替え

VRアプリのパフォーマンス中に発生するトラブルとして、可能性として大きい順に、以下のような問題が想定できます。
a. VRヘッドセットとのキャスト接続が切れる
b. WiFi接続が切れる
c. VRヘッドセットのトラッキングが失われる
d. VRヘッドセット上のアプリがクラッシュする
e. PCがクラッシュする
e以外への最後の砦として、前撮り映像をPC側に保存しておく方法があります。

この方法を使う場合、OBSの経由が必須になりますが、方法としては
1. 事前にOBSや動画編集ソフトでBGM入りの前撮り映像を作成する
2. OBSに前撮り映像のウィンドウを全画面表示するシーンを用意しておく
3. 当日のBGM再生は、楽曲の再生ではなく、前撮り映像の再生で行う
4. 問題が発生したら、前撮り映像のシーンに切り替える
という形が最もシンプルだと思います。

まとめ

以上、VRアートのライブパフォーマンスを行うにあたり、機材等の構成案と、問題の回避策について説明しました。
現状、文字だけでわかりづらいため、記事の評判が良ければイラストや構成図等を追加し、改稿しようとおもいます。