見出し画像

【Archived】Meta Quest+Virtual Desktopで指トラッキングする方法 (VRChat)

ぱすた。

Virtual Desktop 1.30.4のリリースで正式機能となりました。最新版のVDを使うことで指トラやボディトラッキングが可能となっています。この記事は参照しないようお願いします。

VRChatをプレイしていると最近はフルトラッキングの方がとても増えてきて、「え？そんなムーブできるの？？KAWAII！！」という嬉しい場面が増えてきています。そんな中で、特別なハードウェアの追加なしでハンドトラッキング、いわゆる「指トラ」をするための方法を記したいと思います。この文書の設定をすることで指を一本一本個別に動かすことが可能となり、表現の幅が広がります。コミュニケーションの一助としてぜひご活用ください。

注意： 本記事はベータ版ソフトウェアの使用方法について解説しています。ベータ版ソフトウェアは動作が不安定な場合があり、使用上で生じたいかなる結果も補償されないため自己責任でお使いくださいますようお願いいたします。不安がある場合は正式版のリリースをお待ちください。

きっかけはこちらのポスト。

検証環境

VRヘッドセット： Meta Quest 3
PC： Windows 11 Professional

ホストPCはいつも使っているPCで問題ないと思いますが、ヘッドセットはどこまで対応しているか現時点で私は把握できていません。
GitHubには「Added Wide motion support with hand tracking on Quest」とあるのでQuestのみの機能かと思われます。(求ム動作実績情報)

2024年2月29日追記： YUMIZU3さんからの情報で、Quest Pro、Quest 2での動作確認が取れたとのことでした。Questシリーズであれば利用できるようです。

現時点の懸念点(2024年3月3日時点)

  1. 一部アドオンソフトとの競合(ドライバー4D、など)

  2. 一部ハンドジェスチャーがコントローラからできない(ビクトリー、ロックンロール)

1については志熊ルニ🤖🧸アンドロイド女児ボーイさんの環境で問題となり、無効化することでハンドジェスチャーが可能となったとのことです。

2についてはaster_jpさんより情報があり、これはVDがIndexコントローラをエミュレートしているため、Questのコントローラとのマッピングが適切に行えないために起きていると思われます。
なお、これは「コントローラを用いた場合」にビクトリーやロックンロールのジェスチャーを出せないのであって、ハンドトラッキングしている状態ではビクトリーやロックンロールを出すことは可能です。状況としては写真撮影時にピースやロックンロールの手の形にしてシャッターを切ることができない！という感じになります。写真をよく撮る方には問題になるかと思います。(撮られるだけであれば問題ないかと思います。)

これらについて正式版で解消されるか、注目していきたいと思います。

導入手順

ひとまず私が行った手順を記します。全部で9ステップとなります。

2024年2月29日追記：
私が行った方法は無駄に手間がかかってしまっているので、シンプルに
1．Meta Quest側のVirtual Desktopでベータ版機能を有効にする
2．Windows側のStreamerをベータ版にアップデートする
3．設定でForward tracking dataを有効にする
という流れで実現可能だと思います。申し訳ないのですが1の「ベータ版機能を有効にする」が私の環境ではすぐに確認ができないため、手探りで行っていただくか、どなたかDMでスクショをいただけると助かります。。。

以下は若干いばらの道です。ご参考まで。

1．スマートフォン上のMeta Questアプリから「開発者モード」を有効にする

2．Meta Quest for DevelopersでOculusアカウントを開発者として登録する

3．Quest 3上に「Mobile VR Station」アプリをインストールする

この1～3までの手順はベータ版のアプリをQuestにインストールするのに必要な手順となります。Xでは「QuestのVDアプリの設定ベータを有効化してアプデ」でいけた、という情報もあるのでひょっとしたらこのステップは不要かもしれません。
野良アプリをインストールする手順は申し訳ないですが他のページの方がよくまとまっています。私は以下のサイトを参考にしました。

4．Virtual DesktopのDiscordサーバの「announcements」チャンネルより、Quest用APKファイルをQuest本体へ、Windows用Virtual Desktop StreamerインストーラをWindows PCへダウンロードする

以下のリンクからVirtual DesktopのDiscordサーバに参加します。

announcementsよりベータ版の情報が確認できます。

Discordサーバよりベータ版情報を確認します。

GitHubを直接参照してもよいのですが、更新情報があるかも知れないのでDiscordを参照するのをお勧めします。一応GitHubのリンクも貼っておきます。

5．QuestへMobile VR Stationを使ってベータ版APKファイルをインストールする

これは前述のサイトに詳しい説明があります。「Mobile VR Station」というアプリを用いてAPKファイルをインストールします。(ベータ版を有効にしてインストールされた方はこのステップは不要です。)

6．Windows PCへベータ版のStreamerをインストールする

こちらはWindows上で通常通りインストールすればOKです。

7. Virtual Desktop Streamer(Windows側)のSettingsよりOpenXR Runtimeを「VDXR」にする

これはネット記事でVDXRにする必要がある、という情報を見たので設定していますが、実はSteamVRでも行けるかもしれません。要検証項目です。

ひょっとするとSteamVRのままでも行けるかもしれません。

8．QusetよりVirtual Desktop接続し、設定のSTREAMINGより「Forward tracking data to PC」のチェックを入れる

私はこの設定を行わずに引っかかっていました。(peri/ペリーさん、情報ありがとうございました！！！)
QuestでVirtual Desktopを起動し、デスクトップに接続後の設定で「Forward tracking data to PC」ならびにその下の「Emulate Index controllers」の２つにチェックを入れます。
(「Emulate SteamVR Vive trackers」は不要との情報、aster_jpさんありがとうございました！)

3つのチェックボックスにチェックが入っていますが、「Emurate SteamVR Vive trackers」は省略可能です。

9．(Optional) Quest3の「設定」→「動きのトラッキング」から「コントローラと手を自動で切り替える」のボタンをオフ

「自動切り替えの感度」が「高」になっていると、コントローラに制御が頻繁に奪われてしまうようで一定時間ごとにトラッキングがフリーズする現象が起きます。感度を「低」にすることで支障はほぼなくなりますが、それでも制御が奪われるようであれば、自動切り替えをオフにしてしまうのが良いでしょう。オフにした状態で手動で切り替える際にはコントローラ同士を「カッカッ」とぶつけると切り替わるので、切り替えで困ることはないと思います。

自動切り替えを無効化した方がストレスなく操作できると思います。

動作の様子

指がふよふよ動くアンディちゃんをご笑覧ください。

謝辞

Xにてハンドトラックの記事をポストしてくださったHirosukeさん、その記事をリポストしてくださったのら狐੭みらい°さん、Ric_Doraさん、情報不足を指摘してくださったシラタキSケネデイさん、Virtual Desktopのトラックデータ転送オプションをご指摘してくださったperi/ペリーさん、データ転送オプションをポストしてくださったYUMIZU3さん、トラッカーの不要な設定を指摘してくださったaster_jpさん、VRC内で「設定できない！」という私のぼやきを聞いてくださったフレンドの方々、すべての方に謝意を表したいと思います。私一人の力では解決できませんでした。みなさん、本当にありがとうございます！！！！

特にこの情報がなければ解決できませんでした。。。感謝いたします。


いいなと思ったら応援しよう！