WebCamMotionCapture + TDPT(Windows版) + VSeeFace + VRoomでの環境設定について

そういやこの構成でのやり方って書いてなかったっけか?(記憶にない並感

というわけで

準備するもの

ハードウェア

1.Windowsパソコン1台
最低でもRTX4060ぐらいないと結構厳しい(白目
2.Webカメラ2台
 WebCamMotionCaptureで1台
 TDPT(Windows版)で1台
 ただし、あまり最新のカメラだと認識しなかった(白目
 Elgato Facecam Proは使えなかったんだよね(白目
 とはいえ大体のWebカメラは認識するはず

ソフトウェア

1.TDPT(Windows版)Ver0.5.1(最新版を使えばOK)

2.WebCamMotionCapture 最新版を使えばOK

3.VSeeFace  最新版を使えばOK

4.VRoom 最新版を使えばOK

設定手順

Webカメラは2台接続した状態でスタート
最小限の設定のみとする

1.TDPT(Windows版)の設定

TDPT設定画面
Source Device

全身を写す用のカメラを選択する

指のキャリブレーション

Use HandTrackingは外しておく
(指のキャプチャはWebCamMotionCapture側で実施するため)

2.WebCamMotionCaptureの設定

Webカメラ選択

TDPTとは別のWebカメラを選択する

モーションの送信

外部アプリに送信 にチェックを入れ
その他は画像の通り
設定出来たらスペースを押すことでGPUを節約

3.VSeeFaceの設定

アバター選択画面

VSeeFaceではWebカメラを使わないため
OpenSeeFaceトラッキングを選択する
マイクもここは選択しないこと

一般設定

一般設定を選択

受信ポートに注目

上の方でTDPTからモーションを受信
下の方でWebCamMotionCaptureからモーションを受信する

びすたんはこの設定

まだ指の動きが完璧ではないが
上記設定で大体いい感じにはなる(あと一歩なんだけどね

VSeeFaceにて

この時点でモーションが受信できているはず
出来てなければどこかの設定がおかしい

VRoomへ飛ばす用の設定

39539でVRoomへモーション情報を飛ばす

効果は知らん(白目

アバターを非表示にすると処理が軽くなりそう(小並感

4.VRoomの設定

39539で受信
完璧で究極にはなれなかったよ(白目

とりあえずこれで動くはず

一応テストとして
TDPT(Windows版)、WebCamMotionCapture、VSeeFaceそれぞれが
単体で動くことを確認する必要あり
単体で動いてなければそもそも動かないので(白目

参考:それぞれの設定

ThreeDPoseTracker

Avatar Setting
Item Setting (未設定)
Configuration - Images
Configuration - Predict
Configuration - UpperMode
Configuration - Record
Configuration - LipSync
Configuration - Room
Configuration - WindowCapture
Configuration - Other

WebCamMotionCapture

外部アプリに送信
トラッキングの詳細設定
表情の設定

VseeFace

VSeeFace - 1
VSeeFace - 2
VSeeFace - 3
VSeeFace - 4
VSeeFace - 5
VSeeFace - 6
VSeeFace - 7