![見出し画像](https://assets.st-note.com/production/uploads/images/141266067/rectangle_large_type_2_28d4ec03d619d1dce30654e7ab97b0f9.png?width=800)
Quest3ユーザーがトラッカーを自作してフェイストラッキングしてみた話
TL;DR
今回はフェイストラッカーを自作してVRChat内で口元だけフェイストラッキングした話です。
DeepLとかGoogleTranslaterとかに英語流し込んで読める人・そこそこ自分で頑張れる人向けに書いてるのでもろもろ端折ってます。わかんなかったら聞いてください。暇なときに回答します。
もぐもぐしたりしてみた pic.twitter.com/8DsZ7kQQjN
— りょう/テヲ (@ryo_teo_gg) May 17, 2024
やったこと
Wi-Fiカメラの作成
Quest3にマウント
ProjectBabbleのソフトをインストール
VRCFaceTrackingのインストール(VRCFaceTrakingでbabble moduleをインストールしとく)
VRCFaceTracking対応アバターの用意(Publicアバターがあるので、それで代用も可能)
用意したもの
XIAO ESP32S3 Sense(https://item.rakuten.co.jp/marutsuelec/2720300)
PCとESP32の接続に使ったり、ポータブルバッテリーとESP32の接続に使うテキトーなUSBケーブル(https://www.amazon.co.jp/gp/product/B093L6298K)
ポータブルバッテリー(https://www.amazon.co.jp/gp/product/B07W3Q8K6Z)
広角カメラモジュール(https://www.amazon.co.jp/gp/product/B0BPMCSVQK)
家にあったテキトーなマステ
家にあったテキトーな強力両面テープ
ProjectBabbleとは?
Babble is an opensource mouth tracking project designed to work with any existing VR headset. We strive to make our models robust to different lighting, cameras, image qualities, and facial structures!
2022年7月8日に最初のcommitがあるプロジェクトで、オープンソースの口トラッキングを実現する的なやつです。
リポジトリを見る限りnetv2-b0モデルを利用して何かしてるみたいです。
Wi-Fiカメラの作成とHMDへマウント
用意したものリストのESP32はWi-Fi用のアンテナとカメラの基盤とESP32が入ってるので、ESP32にアンテナをつないで、カメラ基盤をつけ、元からついてるカメラモジュールを外した後に広角カメラモジュールを取り付けます。
その後、以下の方法で書き込みます。
似たようなプロジェクトでアイトラッキングのためのEyeTrackVRがあります。そこにローカルネットワーク内で動作するESP32を使ったWi-Fiカメラの作成方法が書いてあるのでそれをもとにESP32に書き込んで完成です。
ちなみに、僕はhttp://○○.localで接続できるようにしました。毎回IPアドレス調べるの面倒なので。
とりあえず、マウントは両面テープとマステでどうにか括り付けました。
不格好なのでいつかケースとか作ります。
FT、プロトタイプver.2
— りょう/テヲ (@ryo_teo_gg) May 18, 2024
XIAO esp32s3 + OV2640 160°#projectBabblVR @projectBabbleVR pic.twitter.com/Y2Ydb5BwtY
その後は…
後はいつも通りVRかぶって、Wi-Fiカメラをポータブルバッテリーとつなげて、ProjectBabbleとVRCFaceTrackingを起動して対応アバターを使うだけです。
ProjectBabbleの設定画面にいろいろ項目がありますが、正直ドキュメントがなくてよくわかりません。スタートキャリブレーションをクリックしてしばらくするとTrakingにステータスが変わるので、それやっとくと調子いいかも?ぐらいです。
美味しいコーヒーが飲みたい! なんか面白いガジェット買いたい!