Bigscreen BeyondでのET・FTについて

2024年10月2日 15:23

TL;DR

Bigscreen BeyondにカメラとかVIVEフェイシャルトラッカーを付けてVRChatでアイトラッキング(ET)、フェイストラッキング(FT)をしたよって話です。
DeepLとかGoogleTranslaterとかに英語流し込んで読める人・そこそこ自分で頑張れる人向けに書いてるのでもろもろ端折ってます。わかんなかったら聞いてください。暇なときに回答します。
とはいえ、vscodeやgitの操作方法とかの調べたらわかる基礎的なところは勘弁してください。そこら辺が自己解決厳しい人は自作せず企業が出すのを待つか諦めた方がいいです。一応BigscreenがETは出そうと研究してるっぽいです。
また、EyeTrackVRのドキュメントに記載されていますが、赤外線ライトには危険を伴う可能性があります。読んだ上で自己責任の元使用してください。

やったこと

以下の3DモデルをDMM.makeで3Dプリント
3Dモデルファイルは参考リンク先にあるので探してください。
使用した素材も載せておきます。3Dモデルが細かすぎたり薄すぎたりで高精細プラスチックを使ったり破損了承で依頼しました。

Eye Ring Camera-LED Attachment Left.stl｜数量： 1 高精細プラスチック
Eye Ring Camera-LED Attachment Right.stl｜数量： 1 高精細プラスチック
MAS_updated_vive_clip.stl｜数量： 1 PA11 (VIVEフェイシャルトラッカーでFTする人向け)
Beymod V2.6.stl｜数量： 1 PA12 印刷時破損了承の上依頼
babble beyond.stl｜数量： 1 高精細プラスチック (ProjectBabbleでFTする人向け)

マイコンボードにxiaosenses3_USB_release設定でソフト書き込み
方法はEyeTrackVRの https://docs.eyetrackvr.dev/firmware_guide/setup_vscode から先に書いてあるからその通りにしてください。ProjectBabbleで使う場合も同じ設定でできます。

ラジオペンチを使ってレンズ部分を外し、IRフィルタ－を外します。一応別のカメラモジュールのIRフィルターの外し方動画(https://www.youtube.com/watch?v=QYH-FWvDbDc)がEyeTrackVRには記載されていますが、75mm-130Degreeは形状が違うためコツが必要です。
レンズの外し方は同じですが、IRフィルターは端っこを割って外しましょう。ガラスの飛び散りに気を付けてください。

後は取り付けるだけです。ちなみに、Bigscreen BeyondのUSB出力では帯域や電力などが不足するのでPCから直接延長してUSB hubを利用して使いましょう。後LEDモジュールは公式の説明をちゃんと読んでつけましょう。