実験：VIRTUALIZE REALIZE LAB 04 [temura DJ Act]
あと1bitで繋がる世界は
— VIRTUALIZE REALIZE (@VR_ize) April 1, 2020
今、電子の海で
対等に溶け出していく。
これをメインコンセプトに掲げた新たな取り組みが、4/22のVIRTUALIZE REALIZE vol.0に合わせてスタートしていきます。#VR_ize pic.twitter.com/gJ5wJ8znt7
※本記事は『VIRTUALIZE REALIZE LAB 04 - temura DJ Act』についての詳細をほとんど整理せずに書き連ねた記事です。読みづらいうえに長いので注意[約6200字 - およそ10分]
VR_izeについて
VR : Virtual Reality
バーチャルリアリティのバーチャルが仮想とか虚構あるいは擬似と訳されているようであるが，これらは明らかに誤りである．
バーチャル (virtual) とは，(中略)，｢みかけや形は原物そのものではないが，本質的あるいは効果としては現実であり原物であること｣であり，これはそのままバーチャルリアリティの定義を与える．
VIRTUALIZE REALIZEは、"仮想世界と現実世界がインターネット上で「対等に溶け出していく」"プロジェクト。近年のVRイベントシーンにおいてはVRならではの拡張表現を注視するものが多い中、バーチャル・リアルそれぞれの生活圏における同時開催を前提にしたものは他にない
いまは平行線でも、完全に融け合ったその先にあるのはVR・AR・MRすべてが統合された新しいリアル。イベント会場に行けばいないはずの銀髪ケモ耳美少女が隣で踊ってるし、普通に会話もできる。なんなら同じイベントTシャツを着てる。同じフロアで同じサウンド聴いて同じ気持ち感じちゃう、なんて、まだフィクションですけどね
そんなプロジェクトが開催するDJイベント、『VIRTUALIZE REALIZE LAB vol.4』にDJとして出演する機会を頂けたので、これは何かやらないとなと思い、いろいろと持って行ったのでその出来る限りをここに書こうと思います
VIRTUALIZE REALIZE LAB 04
— VIRTUALIZE REALIZE (@VR_ize) February 17, 2021
2021/01/24 (Wed.) 19:00
Stream on Twitch & VRChat
▽ #VRChat
Virtualize Realize
▽ #Twitchhttps://t.co/4tQTsfL2eE#VR_ize pic.twitter.com/YpFUfQ7oJq
アーカイブはこちら
【構想】
どうしてこういうレイアウトになったのか、という説明の前に先駆者様の紹介をさせていただきます
リスペクト元はVR_ize "vol.0"と"Lab 01"のFuture recordさんのパフォーマンスです。多大な感謝を🙏
Future record installed 咲乃木ロク - VIRTUALIZE REALIZE vol.0
Future record - VIRTUALIZE REALIZE LAB 01 [DJ Day]
FrecさんロクさんのところではLeap Motion+フェイストラッキングを使用して手指の細かい動きを表現できるのに対して、DJ temuraのアクトではOculus Questを使用することで主に 腕 の動きを見せることに重点をおいています。ぶっちゃけ手指は手元アップの2カメワイプ作らないと見えないのでアレです
VJとオーバーレイを付ける前のGB画像
バーチャル側としてフィリナちゃん改変アバター、リアル側としてHMDを被ったてむらのリアルアバターを左右に配置しています
VR側はバーチャルキャストを使用。体は両ソースともOBS上であらかじめクロマキーで抜いてから、後ろに色ソースを置いています
アバターは仮想空間上の"化身"や"分身"といったふうに訳されますが、その本質的な部分はWebカメラで映し出すリアルの身体と何ら相違ないものです
(ほぼ)同じアングルで、同じグリーンバックで、同じ動きをさせることで、"同質のもの"とわかるようになっている………はず！
あくまでも"実験"なので、どこかで機会があれば次段階に行きたいのですが、今回のコメントでフラっと流れてきた「バーチャルとリアルのB2B」という言葉を見た瞬間、ﾋﾟｷｰﾝ!ときまして、ほんとにB2Bしちゃおうか、なんて
今回のトレースはこれはこれでよかったのですが、リアルとVRでまったく別の動きをさせて、VR空間上にある1つのコントローラーを共有させる、そんな演出もいいよなぁと
バーチャルとリアルのB2B、まさに「完全に融け合った"後"」のそれなんですよね
フルスクラッチのkawaiiアバターとリアルニンゲンアバターが1つのDJコントローラーを使ってB2B、絶対ヤバくないですか
いまの私の技術力じゃ難しいですが、良い感じの案を考えておきます………ます………ます………
【環境】
概念みたいなムツカシイ話はこの辺にして…
今回の配信画面は一体何をどうやって準備すれば作れるか、というところを解説していこうと思います
手元はこんな感じ
＞使用機材他
・PC
①メインPC [動画部分&配信用]
改造前 : DELL XPS 8700(電源/GPU/SSD/HDD換装済)
OS : Windows 10 Home
CPU : Intel Core i7-4770
RAM : 16GB
GPU : GeForce RTX 3060 Ti
SSD : 240GB HDD : 2TB
電源 : 650W
光回線 : 550～700Mbps
②サブPC [rekordbox用]
Surface Pro 4 CQ9-00014
CPU : Intel Core i7-6650U
RAM : 8GB
GPU : なし
・音周り
③DDJ-400 [MIDIコントローラー]
付属USBケーブル↔②
モノラル標準×2④↔③RCA
④Steinberg UR242 [AIF]
付属USBケーブル↔①
⑤ATH-M40x [モニターヘッドフォン]
付属ケーブル→③
⑥MPM-1000 [マイク]
付属ウインドスクリーン
付属XLRケーブル↔④
・映像周り
⑦Oculus Quest(無印) [HMD]
Virtual Desktop→①
⑧Webカメラ(1080p)
USB→USB延長ケーブル3m→①
(繋いだまま放置するとPCが異常に重くなるので買い替え検討中)
⑨グリーンバック背景用の布 [1.8m×2.8m]
付属クリップで⑯壁掛けフックに固定
狭いので買い足し検討中
⑩CLASSIC PRO CHD201 [HDMIキャプチャーカード]
いわゆる1000円キャプボ
HDMIオスオスケーブル←HDMI-Mini DisplayPort変換ケーブル←②
⑪モニタ 1080p×2
PC①用
・他
⑫Wi-Fiルーター [Virtual Desktop用]
⑬ラップトップスタンド [DDJ-400の台]
⑭マイクスタンド (安物)
⑮カメラ固定用の三脚
(サイドテーブル2の上に置いたドラムトレーニングパッドの三脚部分)
⑯壁掛けフック [GB布固定用]
家で余らせてたやつ
両面テープでクロス直貼り
4つ入り100円
⑰DJ用テーブル
⑱配信モニタ用のスマホ
＞使用ソフト(当時)
rekordbox 5 [DJソフト]
Virtual Desktop [無線PCVR]
VirtualCast [バーチャルアバター用]
OBS Studio [配信ソフト]
dspMixFx UR242 [AIF専用エフェクター&ミキサー]
(SteamVR)
(VRChat)
※rekordbox(PC②)以外は全てPC①
＞アバター
【構築・実践】
次は配線から実際にやってみたところまでを書いていきます
・音周り
DJの音は、DDJ-400のMASTER OUTを配信用PCのオーディオインターフェース④(以下AIF)に接続、同じくAIFに繋いでいるマイクの音声と一緒にdspMixFxを見ながらミキシング
ミキシング後の音声をループバック機能でOBSのマイク入力へ。DJモニターは400直刺しのヘッドフォン
配信用PC内のブラウザやVRChatなどの余計な音が入らないように、dspMixFxでデスクトップ音声をミュートする
OBSの音声ミキサーで適切な音量が出ているか確認したら音声設定はおわり！
・映像 Real side
背景用に壁紙直貼りフックとクリップでGB布を固定
2m弱の高さにカメラを置く為に余りのテーブルやら練習用ドラムパッドの三脚やらを積んでなんとか設置
DDJ-400用のテーブルが低かったのでラップトップスタンドでかさ上げ、そこにマイクスタンドも設置。安いので安定しない
OBSを起動して"映像キャプチャデバイス"ソースを追加、カメラ映像を見ながら位置調整、クロップフィルタでGB布の足りなかった部分をカット、クロマキーフィルタで先に透過しておく
・映像 Virtual side
Questを被り、あらかじめSteamVRが使えるようにしておいたVirtual Desktopを起動、バーチャルキャストを起動する
ルームはクロマキースタジオ(設定で"クロマキースタジオの色"を緑にしておく)
アイテムからディスプレイを選択して1,2両方表示させ、カメラに映らないようにしておく。レーザーポインターとハンディカメラも同様に
ハンディカメラをできるだけリアル映像の方と同じアングルになるように調整する
OBSを起動してゲームキャプチャソースを追加、クロマキーフィルタで透過して、レンダリング遅延フィルタでリアルアバターとバーチャルアバターの動きをできるだけシンクロさせる。(参考までに、今回は200msでした)
・OBS設定
リアルアバターとバーチャルアバターが良い感じに横並びするようにソースを配置、それぞれ先にクロマキーで背景を抜いておく
色ソース[ #00ff00 ]を追加、ソース欄の一番下に置く
ここまでやれば画面構成と音声設定は終わりです
VR_ize Labでは、解説配信もあったようにobsを使ってFAIOさんのrtmpサーバーに映像をぶん投げる方法を使っています。下はその解説のアーカイブです
DJ配信を繋げてみよう！～上級編～ / Virtualize Realize Lab 01 Technical Day
だいたい1:47:45くらいの"基本構成"の図を見て頂ければわかりやすいと思います
他人のPCに映像を送るのにtwitch等配信サイトを経由した場合と比較して、かなり良い音質で映像を送ることができます。加えてポート開放も不要、転換もスムーズと良いことが多いです。(サーバー構築の知識と維持費は必要)
ただ回線の太さに影響される上に、最終的にtwitch等に配信されるのでそこまでビットレートを上げることはできません
といったところでobsの配信設定です
エンコーダ : x264
映像ビットレート : 1800Kbps
音声ビットレート : 192Kbps
解像度 : 1280x720
FPS : 30
セトリ作成に追われて最適化はできなかったのですが、アーカイブ見る限り大きな問題はなかったように見えます。相手の回線を見ながらにはなりますが、ビットレートはもうちょっと上げてよかったかも？
・DJ用映像
DJ用のテーブルが低い(76cm)上に狭い(50cm)ので、rekordboxを起動しているサブPCをDDJ-400の横に置けませんでした。悲しい気持ちになったものの、せっかくだしHMDを被ったままDJできるようにしてしまおう！と、いろいろ調整してみました
サブPC②にminiDisplayPort出力が付いていたので、HDMIに変換するアダプタ、HDMIオスオスケーブル、1000円キャプボ⑩を組み合わせて配信用PC①にインサート
OBSで映像キャプチャデバイスソースとして追加して、非表示のままソースを右クリック、ウィンドウプロジェクタ(ソース)をクリックすることで配信画面に映ることなくディスプレイに表示できます
そしてそのままHMDを被れば、バーチャルキャスト内のアイテム"デスクトップ"にサブPCのレコボの画面が表示されるという寸法なわけです
ただ画面がかなり荒いうえに結構な遅延があるので、少し慣れが必要だったりします
これで準備は終わりです！
あとは出番直前に配信開始を押して待機、ディレクターさんにキューと共に映像を切り替えてもらってパフォーマンス開始になります
本番ではたまに手元のスマホでtwitchの音のモニタもしつつ、HMD内でレコボとOBSとtwitchコメントとVRChat会場の様子を見ながらDJしてました
【反省点】
たくさんあります
1. VoiceMeeterBananaのフリーズが相次ぎ使用を断念、Gate機能のないdspMixFxで完結させざるを得なくなり、UR242のGainツマミをマイク使用中のみ上げる対応を取る。
結果、マイクを使おうとする度に画面外に行かないといけなくなってしまった
2. Banana使えない影響でVRChat会場のオタクボイスを聞けなかった;;
3. GB布が思いの外小さくて高さを取れず、腕を上げたときに手首から上が見切れてしまった→こんど大きいの買います
カメラスタンドもうちょっとマシなのないの→買いたいです
DJ机どうにかならんかったの→買いました
4. 照明が部屋の天井LED(明るすぎ)しかなく、クロマキーで上手く抜けない上に顔の写りがかなり微妙
撮影用のライト買った方がいいですか？
5. 質の悪いキャプボでただでさえ画質が悪いのに、VRChat同時起動の負荷を軽減するために片目あたりの画質を下げたうえ、VirtualCast内デスクトップはかなり拡大しないとめちゃくちゃ荒いので曲名が全然読めなかった(長さが同じだとわからないレベル)
ちゃんとセトリ組んでたのに一度本気で間違えそうになってめちゃくちゃ焦りました
これは出番直前に教えてもらったのですが、SteamのXSOverlayというソフト(1000円程度)を使えばVRChatだけで完結できたらしく、どうして知らなかったんだ…の気持ち
今ではVRC潜るときによく使ってます
雑記
サブPCのminiDisplayPort出力の接触が悪くPC①に送られてくるレコボの画面がしょっちゅう止まって、止まるたびに刺しなおしてOBSでデバイス指定しなおしていたので本番ヒヤヒヤでした。止まらなくてよかった…
DJ中はスマホにイヤホン刺して配信音声モニタしてたんですけど、モニタ終わって机にスマホ置いて動こうとした瞬間イヤホンのケーブルが足に絡まってこけそうになってました。バレてない………？
一番キツかったのが、DJ始まってHMDを付けた瞬間、眼前のFPSがガタ落ちして半分くらい経って慣れてくるまでずっと吐きそうになりながら繋いでたとこです。VRChat同時起動なんかするからですが、VRC会場にはどうしてもいたかったのでしょうがないですね
追い打ちをかけるように、なぜかDDJ-400のCUEの音量が普通に聴こえるマスターCUE消しても聴こえづらいレベルで異常に低くて全く音出しできず、遅延と画質のひどい画面を見ながら苦心して繋いでました。BeatSyncとBeat Jumpは神
いろいろ準備不足で大変だった割には大きなミスもトラブルもなくやれたと思ってます。本当に最高の機会をありがとうございました。本当に…！
おまけ
最後に、VR_ize再現mixの録音ついでにVRDJ中の手元動画も録ってみました。questコンで肝心の手元が見えないのでレコボ上のミキサーを見て頂ければまだわかると思います！(意味無)
ハイ今度こそ終わりです。長々とお付き合いいただきありがとうございました…！
正直今回めちゃ読みにくかったと思います、無駄に細かく細かく書き込んだので…
どこまで参考になるかはわかりませんが、今後VRDJされる方の参考になれば幸いです
セトリ解説もしようと思ってましたが出るか怪しいです！それでは
この記事が気に入ったらサポートをしてみませんか？