Quest3ユーザーがトラッカーを自作してフェイストラッキングしてみた話

TL;DR

今回はフェイストラッカーを自作してVRChat内で口元だけフェイストラッキングした話です。
DeepLとかGoogleTranslaterとかに英語流し込んで読める人・そこそこ自分で頑張れる人向けに書いてるのでもろもろ端折ってます。わかんなかったら聞いてください。暇なときに回答します。

もぐもぐしたりしてみた pic.twitter.com/8DsZ7kQQjN

— りょう/テヲ (@ryo_teo_gg) May 17, 2024

やったこと

• Wi-Fiカメラの作成

• Quest3にマウント

• ProjectBabbleのソフトをインストール

• VRCFaceTrackingのインストール(VRCFaceTrakingでbabble moduleをインストールしとく)

• VRCFaceTracking対応アバターの用意(Publicアバターがあるので、それで代用も可能)

僕はセレスティアにこれとOSCmoothを適用して使ってます。

用意したもの

• XIAO ESP32S3 Sense(https://item.rakuten.co.jp/marutsuelec/2720300)

• PCとESP32の接続に使ったり、ポータブルバッテリーとESP32の接続に使うテキトーなUSBケーブル(https://www.amazon.co.jp/gp/product/B093L6298K)

• ポータブルバッテリー(https://www.amazon.co.jp/gp/product/B07W3Q8K6Z)

• 広角カメラモジュール(https://www.amazon.co.jp/gp/product/B0BPMCSVQK)

• 家にあったテキトーなマステ

• 家にあったテキトーな強力両面テープ

ProjectBabbleとは？

Babble is an opensource mouth tracking project designed to work with any existing VR headset. We strive to make our models robust to different lighting, cameras, image qualities, and facial structures!

https://github.com/Project-Babble/ProjectBabble

2022年7月8日に最初のcommitがあるプロジェクトで、オープンソースの口トラッキングを実現する的なやつです。
リポジトリを見る限りnetv2-b0モデルを利用して何かしてるみたいです。

Wi-Fiカメラの作成とHMDへマウント

用意したものリストのESP32はWi-Fi用のアンテナとカメラの基盤とESP32が入ってるので、ESP32にアンテナをつないで、カメラ基盤をつけ、元からついてるカメラモジュールを外した後に広角カメラモジュールを取り付けます。
その後、以下の方法で書き込みます。

似たようなプロジェクトでアイトラッキングのためのEyeTrackVRがあります。そこにローカルネットワーク内で動作するESP32を使ったWi-Fiカメラの作成方法が書いてあるのでそれをもとにESP32に書き込んで完成です。
ちなみに、僕はhttp://○○.localで接続できるようにしました。毎回IPアドレス調べるの面倒なので。

Setting up the environment | EyeTrackVR Docs

とりあえず、マウントは両面テープとマステでどうにか括り付けました。
不格好なのでいつかケースとか作ります。

FT、プロトタイプver.2
XIAO esp32s3 + OV2640 160°#projectBabblVR @projectBabbleVR pic.twitter.com/Y2Ydb5BwtY

— りょう/テヲ (@ryo_teo_gg) May 18, 2024

その後は…

後はいつも通りVRかぶって、Wi-Fiカメラをポータブルバッテリーとつなげて、ProjectBabbleとVRCFaceTrackingを起動して対応アバターを使うだけです。
ProjectBabbleの設定画面にいろいろ項目がありますが、正直ドキュメントがなくてよくわかりません。スタートキャリブレーションをクリックしてしばらくするとTrakingにステータスが変わるので、それやっとくと調子いいかも？ぐらいです。