見出し画像

【How To VRChat】カメラでフルトラする方法『TDPT+ TDPToVR + VMT』

スマホ(iPhone / iPad / webカメラ)とsoftware(TDPT+ TDPToVR + VMT)を使って簡易的にフルトラを実現する手順だよ。

※ TDPTがアップデートされてVRChatやClusterに直接姿勢データを送る方法が追加されたよ!(2023.6.30)

ちょっと調べたんだけど。
VRChatでのやり方を解説してる人が見つからなかったから参考になればいいな

使用ソフト

  • TDPT(ThreeDPoseTracker)※1

  • TDPToVR ※2

  • VMT(Virtual Motion Tracker)※3

ソフトの使用用途


  • TDPT ➡ 姿勢推定

  • TDPToVR ➡ 推定データを受け取ってVMTに渡す

  • VMT ➡ 上記のデータからSteamVRに仮想マーカーを配置

TDPTはPCにWebカメラを接続して使用する方法もあるけど、そうするとPCのVRChatが重くなるからAppがおすすめ!(機能解放に650円必要です)

ソフトの入手元


設定方法

TDPT

1.AppStoreからアプリをダウンロード
2.VRChatで使うためにはアプリ内の★から購入が必要
3.VMC Protocolを以下の設定にする

PI adress ➡ 接続先のPCのアドレス
port ➡ 38900

接続先のPCのアドレス確認方法
➡ PCでタスクマネージャーを開いて有線LAN(Wi-Fi)を開くと、192.168.×××.×××があるのでこれを入力

port番号
➡ TDPTの送信データをTDPToVRで受け取るための設定
(接続できないときはファイアウォール設定を確認してね!後述するよ!)

4.IPとportを入力出来たらStartを押す(これで姿勢推定がPCに送られる)5.体全体が移る位置にiPhoneを移動しておく
(100均とかの広角レンズつけておくと範囲が広がるかも!)

※スマホの自動ロックをOFFにしておかないと時間で自動ロックされるので注意!!

TDPToVR

1.基本的な使い方は作者さんがBOOTHに書いてくださってるよ!
2.ソフトをダウンロードしたら「TDPToVR.exe」を起動
3.左上の「Start Receive」を押すとTDPTから姿勢推定が送られてくるよ!
4.右上の「None」をクリックして「Offset」を選択
5.x,y,zとScaleを上下して調節できるよ!
➡ 細かい調節はVRChatを起動してからのほうがやりやすいよ!
6.「Offset」のほかに「Virtual Motion Traker」を選択して、膝の部分を空いている番号例えば13番と14番を設定しておくといいよ!(姿勢が安定しやすいかも)

「Offset」の設定
「Virtual Motion Traker」膝の部分を13番と14番に設定

VMT

1.ダウンロードした「VirtualMotionTrackerSetup_0.15.exe」を実行してインストールしてね!
2.windosのアプリ一覧にVMTが追加されているので起動!
3.起動したらinstallタブ(初期画面)の左上の「Install」を押してインストールるよ!

「Install」を押してインストール (写真はインストール済み)

4.上の「RoomSetup」から「Set RoomMatrix」を押す

「Set RoomMatrix」を押す

6.画像だと赤くなっていたけど、HMDを繋いでいれば緑色になってるはず!

SteamVR

1.ここまで設定出来たらSteamVR内に入るよ
2.SteamVRではHoomRoomをOFFにしておいたほうがいいよ!
HoomRoomはSteamVRの設定(ひだりのコントローラの≡から開ける設定にあるよ)
3.SteamVRの設定のコントローラの「VIVEトラッカーの管理」を選択

「VIVEトラッカーの管理」を選択

4.Viveトラッカーに<TDPToVR>で追加した腰、膝、足を設定するよ!この時の番号は「TDPToVRのVirtualMotionTracker」に設定した番号に合わせるよ (※画像はわかりやすいようにVRChat内で撮ってるよ)

「TDPToVRのVirtualMotionTracker」に設定した番号に合わせる

5.するとVMTのブロックが腰と膝と足が表示されているよ
(※画像はわかりやすいようにVRChat内で撮ってるよ)

腰と膝と足が表示

6.PCの「TDPToVRのOffset」からx,y,zとscaleを上下してリアルと関節位置を調整するよ! ※出来ればカメラの正面を向いて

※リアルと回転方向にずれているとき
➡ SteamVRの設定で原点位置をリセットする
➡ PICO4の場合は部屋のプレイエリアを再設定する
で解決できるかも

VRChat

1.設定が終わったらVRChatを起動するよ
2.トラッカーがうまく認識されていれば、VRChatのメニューからトラッカーのキャリブレーションが選択できるよ!
3.キャリブレーションは正面を向いてまっすぐ立ってT字ポーズ中に両方のトリガーを押すよ!
4.うまく設定出来れば、足の動きについてくるよ!

足の動きについてくる

5.少し腰の位置が後ろになるように「TDPToVR」で設定すると姿勢が安定するかも?

「しゃがんでみたよ!」腰の仮想トラッカーの位置は後ろ目がいいかも?

トラブルシューティング

TDPTからの信号をTDPToVRで受け取れないとき

原因は
➡ Windowのファイアーウォールの設定が無効になっているかも

解決方法

1.Windowsの検索から「コントロールパネル」を検索して開く
2.Windows Defender ファイアウォールを選択
3.「~左のアプリまたは機能を許可」を選択

「Windows Defender ファイアウォールを介したアプリまたは機能を許可」を選択

4.下にスクロールして「rdptovr」を探す
5.「rdptovr」の左のチェックボックスと右のプライベートのチェックボックスを☑する
※パブリックはチェック不要だと思うよ

☑に変更!

6.「TDPT」と「TDPToVR」を一度閉じて再度開くと接続できるはず!


参考文献

  1. TDPT,DIGITAL STANDARD CO., LTD.,”https://apps.apple.com/jp/app/tdpt/id1561086509”,閲覧日時 2023年4月5日

  2. TDPToVR,えぬぽんたのおみせえ,”https://booth.pm/ja/items/2492481”,閲覧日時 2023年4月5日

  3. VMT,Material for MkDocs,”https://gpsnmeajp.github.io/VirtualMotionTrackerDocument/”,閲覧日時 2023年4月5日

  4. USBカメラモーションキャプチャーThreeDPoseTrackerの説明,@yukihiko_a,”https://qiita.com/yukihiko_a/items/43d09db5628334789fab”,閲覧日時 2023年4月5日


この記事が気に入ったらサポートをしてみませんか?