見出し画像

VR ゲームの中に入っているような合成映像を撮る方法（Quest 2 + PC + LIV）

kurohuku7

↓ のような映像を撮影する方法です。
いくつか方法がありますが、ここでは Quest + PC + LIV の場合のやり方を解説します。LIV の Quest 向けの機能は、まだベータ版のため環境によっては動かなかったり、不安定だったりします。

iPhone XR 以降を持っている人は、iPhone だけでも合成映像が撮影できます。（自分は iPhone 8 なので動作確認できず。）

撮影するアプリが LIV に対応しているか

↓ のリストで確認できます。ここに乗っているアプリは、今回の方法で合成映像を作成できます。
https://help.liv.tv/hc/en-us/articles/360021018559-Supported-Games-Quest-on-PC

準備するもの

PC

映像の合成、録画 or 配信用。Win 10 で動作確認してます。Quest と同じネットワークに接続されている必要あり。

Quest

Quest 2 でしか確認してないですが、1 でも使えるらしいです。WiFi は 5GHz 推奨。

カメラ

LIV が動作確認済みカメラ一覧を出しています。
https://help.liv.tv/hc/en-us/articles/360021355599

自分はロジクールの C922 を 2m くらいの三脚につけて使っています。

グリーンバック（なくても OK）

LIV はグリーンバックなしでも背景を自動で切り抜いて合成できます。グリーンバックありのほうが綺麗に抜けるので、こだわる場合は準備した方が良いです。

やりかた

※LIV のバージョンアップで手順が変わる場合があります。記事作成時点では v2.9 です。

ソフトのインストール

Steam から PC へ LIV をインストールします。

ストアから Quest へ LIV Connect Beta (Quest) をインストールします。Quest と PC を接続するために使います。

初回設定

PC で Steam から LIV を起動します。日本語にも対応していますが、ほぼ翻訳されてないので英語でもあんまり変わらないです。言語を選んで、OK をクリックします。

利用規約です。問題なければ同意して次へ。

アカウント作成 or ゲストを選びます。LIV アカウント作ると動画サイトと連携した機能などが使えます。今回はゲストで説明します。Continue as Guest をクリック。

Quest 用のキャプチャを起動

画面左側の Mixed Reality Capture をクリック。Quest Tools の下にあるやつです。

LAUNCH QUEST MIXED REALITY CAPTURE をクリック

まだベータ版なので動作保証はないですよ、という注意書きです。次へ。

カメラ設定

使用するカメラを選んで CONFIGURE DEVICE をクリック。
※ 以前はここでよくクラッシュしました。クラッシュする場合は LIV や PC の再起動なんかを試してみると動くかもしれないです。

LIV の出力（合成結果の映像）の解像度とフレームレートを選択して CONTINUE をクリック。とりあえず適当に選んでみて、重かったら後で設定を下げてみてください。

背景の透過設定です。グリーンバックの有無に合わせて下記のように設定してください。

  • グリーンバックを使用しない
    → Segmentive Key を ON にして自動背景削除

  • グリーンバックを使用する
    → Enabled を ON にして透過する色の調整

この時点でデスクトップの左上に LIV の出力画面が出ているはずなので、そこで背景が透過されているか確認できます。

Key 設定無し
Segmentive Key : ON
Segmentive Key : OFF、グリーンバック使用

透過設定が完了したら画面下の SAVE をクリックしてください。

PC と Quest の接続

PC 側の LIV で、Quest の接続を待っている状態の画面が表示されていることを確認します。

Quest にインストールした LIV CONNECT を起動します。

初回起動時には下記の画面が表示されます。キャプチャのためにストレージへのアクセス権限を許可する必要があります。
書かれている通り、コントローラの A ボタンを押してから、OK ボタンを押します。（A ボタンを押しても特に反応がないので、実際に意味があるかはわからないです）

改めてシステムのアクセス権限の画面が表示されるので許可します。

PC との接続が始まります。同じネットワーク上に、接続待ち状態の LIV クライアントがあれば自動的に接続されます。

接続が完了したらこの画面になります。

接続周りもクライアントがクラッシュすることがあります。PC 側と Quest 側の起動順番を変えてみたり、再起動してみたりいろいろ試してみてください。

キャリブレーション

VR 内のカメラと物理カメラの位置を合わせる作業です。
PC と Quest が接続できた後は、PC 側に下記の画面が表示されているはずです。FROM DESKTOP をクリックします。

LIV の出力画面に大きな赤い十字マークが表示されます。
もし表示されてなければ一度最後まで進めてから、再度メニューからキャリブレーションを選んでみたりしてください。

出力画面に赤い十字マークが出ます
メインのウィンドウはこの状態です

Quest のコントローラを持って、カメラのレンズの目の前でトリガーを引きます。コントローラが Quest 本体のトラッキングから外れないように、Quest 本体を手に持って接顔センサー部分を指で押さえつつ設定するか、被った状態で設定してください。

コントローラでカメラの位置を指定する様子

出力画面の赤い十字がトリガーの中心に来る感じです。

カメラにコントローラを近づけていって
この状態でトリガーを引く

続いて 2 つめの赤い十字マークが出てきます。

小さな赤い十字マークが出ます

十字マークが表示されている壁まで下がって、コントローラを十字マークに合わせてトリガーを引きます。コントローラを壁に密着させた状態です。

限界まで下がってから十字マークに合わせてトリガー

3 つめが出てきます。2 つめと同じようにトリガーを引きます。

こちらも壁や床に密着するまで遠ざかること

これでキャリブレーション完了です。うまくできていれば、手に持ったコントローラに重ねて 3D のコントローラが LIV 出力画面に表示されます。

物理コントローラと 3D のコントローラの位置が一致していることを確認

コントローラの表示位置がずれていたり、動きのタイミングがズレている場合は、今表示されている設定画面で微調整できます。

動きがずれている場合はレイテンシーを設定
位置や角度がずれている場合は位置、回転、画角を調整

調整が完了したら CONFIRM をクリックします。

これで設定完了です。CONTINUE を押して撮影に移りましょう。

合成する

全ての設定が完了すると、この画面が表示されているはずです。

これが撮影準備 OK の状態です

※ 2023/06/06 追記
現在、LIV が一部の Quest アプリを自動的に認識できない問題が発生しています。（Beat Saber, Gravity Sketch, FitXR など）
それらのアプリは、LIV でキャリブレーションが完了した後、SideQuest 等を使って LIV アプリのフォルダ内にある mrc.xml ファイルを、撮影したいアプリのフォルダ内にコピーする必要があります。
https://help.liv.tv/hc/en-us/articles/11458179986962

ちなみに、次回以降の起動も自動的にこの画面が表示されます。KEY&CROP でカメラの設定、RE-ALIGN でキャリブレーション設定をやり直すことができます。

Quest 側で LIV に対応しているアプリを起動してください。自動的にキャプチャが開始されて、LIV の出力画面に合成映像が表示されます。

合成された映像

次回以降、Quest 側の LIV アプリの起動は不要で、PC 側の LIV が上の画面になっていれば自動的にキャプチャされます。

あとは OBS などの録画・配信ソフトで合成映像のウィンドウを取り込めば OK です。OBS の使い方は解説が多いので省略します。

以上で LIV の設定は完了です。かっこいいプレイ映像を撮ってみてください！

LIV がおかしくなったら

右上の LIV についてから設定を全部リセットするを選ぶと、初期状態に戻せます。動作がおかしくなったらリセットしてみてください。

まだベータ版なのでうまく動かない環境もあると思います。LIV の公式 Discord にフィードバックを送ってみると開発の手助けになると思います。

グリーンバックについて

LIV の Segmentive Keying 機能はグリーンバックが不要で手軽に使える一方で、体の一部が消えやすいです。

Segmentive Keying
グリーンバック

下記の方法である程度 Segmentive Keying の認識精度を上げることができます。

  • 部屋を片付けて背景をごちゃごちゃさせない

  • 部屋を明るくする

自分は最終的にグリーンバックに移行しました。最初の構築が面倒ですが、綺麗に合成できる＆人物の認識処理が無い分 PC の負荷が軽くなるのでオススメです。

自室の撮影スタジオ

自分はダイソーのフェルトと、パンチカーペットでスタジオを作りました。今回は暗めのグリーンバックにしたのですが、明るい緑にしたほうが黒っぽい服を着たときに綺麗に抜きやすいので、明るめ緑にしたほうがよかったかなーと思ってます。参考までに使用した商品のリンクを載せておきます。住宅事情に合わせて色々試してみてください。

カラー画鋲
https://www.monotaro.com/p/0757/5794/

カーペット用両面テープ
https://www.monotaro.com/p/2919/7018/

心拍数＆カロリー表示

Pulsoid というアプリで心拍数をリアルタイムに配信に乗せています。以前書いた記事に載っているので見てみてください。年間のレポートなんかも出してくれるので結構楽しいです。

最後に

何かあれば @kurohuku7 までお気軽に連絡ください。普段から twitch/youtube で VR フィットネス配信や、VR 酔い対策ツールの開発なんかを個人でやっています。VR 関連の開発や記事作成等の案件（特に VR フィットネス系）なんかもやってみたいです～。それでは。

この記事が気に入ったらサポートをしてみませんか？