XR Animatorの簡単な使い方
前置き
普段筆者はUltraleap 3Diを使うのでウェブカメラによるハンドトラッキングの重要性はあまり感じておらず、それほど熱意のこもった記事ではない
ソフトやハードの知識の乏しい一般人の視点で記す
少し古いバージョンの記事
現在は日本語化が進んでいます すばらしい
本文
アバターを作って販売する副業の関係上「ウェブカメラだけでどうにかしてハンドトラッキングをしたい」というお客さまに寄り添う必要があるので、いろいろなウェブカメラ/スマートフォンハンドトラッキングソフトを試したが、どうしても1つ気に食わない点があった
肩がおかしい
どのソフトも肩が開かない
VRoid製のVRMはもともとなで肩がひどいが、それは横方向の問題だ
ウェブカメラで腕・手のトラッキングをするとたいていのソフトで肩が異常に前に、縮こまった形で出る
肩幅超狭い、肩が前にめり込んでる、それはおかしい
（追記 広角に強いカメラを使う、カメラから離れて上半身全体を映すなどすれば改善されそうではあった。でもそんな離れた状態でできるのは雑談配信ぐらいだし、筆者はいつもの位置、ディスプレイと己の位置が近い距離に落ち着いた状態でゲームしながら手指を動かして配信したい。姿勢補正のオプションがあるアプリもあったが、肩補正はなかった。いちばん大切なのは肩だと思う）
この問題を唯一難なく解決しているのがXR Animatorだった
無料 肩周りもきれいでハンドトラッキングの精度もウェブカメラを使うにしてはかなりよい 様々な機能もユニークで配信を楽しくさせるものばかりだ
しかしこのソフトも大変に気に食わない点がある
UIがおかしい
「すばらしい！」「使いやすい！」と評価するのは難しい
ダイアログが雲のような吹き出し型で、容赦なくアバターに覆いかぶさる
移動不可
下のメニュー群も大変素朴な雰囲気を醸し出す
各項目は古代のRPGめいたホットキー選択式（マウスクリックもできるが）
英語なのは別にいい
どこに何があるのかわからないメニュー構造が問題
手探りで覚えて行けばいい話なのだが、けっこう大変
基本的にXR Animatorのメニュー群には「Back」がなく、下の階層で選択を誤った場合「Done」ですべて閉じて上から潜り直しになるからだ
これが非常にストレスフル 散らかった部屋を歩かされる感覚
置き場所を理解しているのは作者だけだ
可能性をとても感じる、使いたいのに使いづらい、慣れるまでとてもとてもめんどくさい、なのでなかなか使う気になれないという時期が長く続いた
起動しても思うように使えず、怒って閉じるを3か月ぐらい繰り返してなんとかやれる気になったので簡単なまとめ記事を作ることにした
変なUIにつき合うことさえできれば、これ一つで無料ウェブカメラハンドトラッキング＋配信向きのおもしろ機能を楽しめるのだから……
（フルトラもできる
ただ当然ながらカメラとキーボードからは遠く離れないといけないため、下記で紹介するショートカットキーは押しづらくなるからXR Animatorのよさは半減してしまうように感じた）
簡単な機能紹介
とりあえず使ってみたい方々に最低限の機能について紹介する
XR Animator単独での使用かつ、上半身トラッキング配信を想定
この記事ではv22.3.14を使用している
XR Animatorフォルダ内にあるelectron.exeが本体 ダブルクリックして起動
VRMをドラッグ＆ドロップで読み込み、STARTを押す
アリシア・ソリッドが読み込まれる
見よ、2000年代の窓の杜のフリーウェア然とした この前時代的な姿を
インベントリのことはとりあえず無視してかまわない
ここから配信で活用できるように最低限の設定をしていこう
先にやっておいた方がいい設定
いかにも設定っぽい絵のアイコン（→側から3番目）をダブルクリックして UI/Settings メニューを表示
一番上の 1. Overlay ＆ UIを選ぶ
小さな文字、でかい余白、平気でアバターにかぶさる位置、
移動不可の鬼仕様がユーザーを狂わせる
不意の顔バレ事故による悲劇を防ぐために
2． Camera display を1度クリックしてOFFにする
キャリブレーションが無事済んだ後には、
3. Wireframe displayもOFFにするとよい
ご覧の通り閉じるためのxボタンなんかもない
おとなしく5キーを押すか、5. Doneをクリックしてこのメニューを閉じる
メニューを閉じるためには基本 「Done」をクリックする以外の方法はない
「Done」を押さなければXR Animatorは絶対に納得しない
トラッキングの設定
この記事の読者はウェブカメラでのハンドトラッキングに期待している方だろうと思う ここがいちばん肝心な部分
キャプチャスーツ姿のアイコンをダブルクリックして
5. Full body（MediaPipe Tasks Vision）を選ぶ
これを選ぶとなんと指が動かなくなる 手がミトンになってしまう
そういう仕様なのかもしれないし、不具合なのかもしれない
なんなんだ アルファが重なるとおかしくなるんだろう
次にウェブカメラのアイコンをダブルクリックして
1か2を選ぶ （2は左右反転）
YesかNoを押さない限り出ることはできない
Doneにこだわるこのソフトで、それすらないメニューがあるとは思わなかった
カメラリストがずらっと出てくるのでウェブカメラを選ぶ
仮想カメラも出てくるので使い方がわかる人はそれらを選ぶのもよい
設定が正しければ少し読み込みがあり（この時固まることもあるが静かな顔をしてやや待つ 顔が検知された少し後に手の検知が始まり、ここでも少し時間がかかる場合もある）わりといい感じに顔と手がトラッキングできる環境が手に入る 肩すくめ問題も発生しない美しい姿をお試しあれ
顔のトラッキングは比較的すぐ反映されるが、初回の手のトラッキングは少し遅延が出る 準備運動と思ってつき合ってあげよう 数秒すれば落ち着く
表情も検知してくれるが、VSeeFaceのようにうまくはいかない
笑顔（Fun/Joy）と驚き顔（Surprised）は作りやすいのでそんなに無表情感はないがちょっと不満
怒り（Angry）と悲しみ（Sorrow）はかなり高度な顔芸力が試される
リップシンクもいま一つの印象
パーフェクトシンクに対応しているモデルなら舌出し、口の左右寄せができる ウェブカメラでこれはかなりすごい 今後Cheekpuffにも対応するらしい
奥行きの検知が優秀で、手を頭の後ろで組んだりもできる
手の大きさや肩幅、奥行の設定もできるのでメニューを掘って触ってみよう
普段Ultraleap首掛けでやっている筆者の環境ではこのポーズは絶対に取れない
アバターはCtrlを押しながらドラッグで平行移動、ドラッグのみで回転する アバターを配信で使いたいサイズと角度に設定しよう
ドラッグは非常に勢いよく回転するので画面外に飛び出ないよう注意
他のトラッキングソフトとマウスホイールによる拡縮の方向が逆であるように思う 縮小しようとしてどアップになりびっくりすることがよくある
左上の遠足に欠席した人みたいな丸枠顔アイコンをダブルクリックすれば位置がリセットされる
配信に映したくない人はワイヤーフレーム、UIも消す
（上の「先にやっておいた方がいい設定」と下の「そのほかの情報」参照）
このウィンドウは最初から透過しているのでウィンドウキャプチャだけでうまくOBSに載せ、好みの背景と合成させることができる
最初に紹介した設定の BG/Scene/3Dでクロマキーや背景、スカイボックスを読み込ませることもできる 背景関係は VMCの隣の UI/Settingsの中にある
インターフェースを消したい人は 設定から 1. User interface : OFFを選択
クリックするたび オン→オフ→オフ＋クロマキー（緑）と切り替わる
ここまで設定が終われば、次回からは起動後Streamer Mode（一番←のピンクの配信者アイコンをダブルクリック）に入ればカメラとアバターの位置、顔と手のトラッキング設定、カメラの指定、顔のキャリブレーションまで自動でやってくれる VMCプロトコルの設定も済んでいるならそれも読み込んでくれる
つまりここまで来られれば次回からはワンステップでXR Animatorで顔と手の動く配信ができる
ダブルクリックしたら顔のキャリブレーションのため普通の顔で前を向いて待つ
このままXR Animatorを使う場合はX. Finishを
VRCプロトコルでデータを送った先のソフトを配信に映す場合は
負荷低減のため1. Finish and hide 3D avatarを選択
動画による実例
先日の配信でXR Animatorのデモを行った
無駄話が多いのはご容赦いただきたい
筆者の普段の環境（VSeeFace+Ultraleap）との比較も見られる
YouTubeで見たい人はこっち
楽しい機能の紹介
ポーズ合成
サタデーナイトフィーバーみたいな人のアイコンのメニューから好みのポーズを選択するだけ 上半身トラッキング＋座りポーズなどが大変容易
プリセットのポーズが豊富に用意されており、これ以外のソフトを起動する必要がないのが最大の利点
気に入ったポーズが手元にあるならドラッグ＆ドロップで読み込める
MMDのモーション形式（VMDなど ※）や、画像ファイル、動画ファイルも読み込める どれが使えるかは実際に試してみるのが早い
ダンスモーションを再生しながら手を動かしまくったりけっこうおもしろいことができる
※MMDのモーションを使用する際は作者の定めたルールに従うこと
脚モード
ポーズ合成と合わせて使うと強い「手の動きで脚を動かす」モード
ALT+Qでオンとオフが切り替わる
オンの時には左脚を左手で、右脚を右手で動かすことができる
脚を組んだポーズで下になっている方の脚はあまり動かず 食い込むことが少なかったり、なんとなくうまいことやってくれているようで使っていてなかなか楽しい
脚でゲシゲシしてやったりできる
ハンドカメラ
Ctrl+H またはハンドカメラのアイコン（かばんアイコンの隣 手の上にカメラが乗っている絵）をクリックでハンドカメラモードになる
このホットキーは押すたびに右手ハンドカメラ→左手ハンドカメラ→オフ と切り替わる
その名の通り手にカメラを持っている状態になり、手のひらの方向を映すようになる 自撮り風に映すもよし、3D背景の中にいる時は景色の方に向けてお散歩動画風にしてみるのもよし 普段見えないチャームポイントを大写しにするもよし
ALT+Sで顔にオートフォーカスする自撮りモードになる
さらにCTRL+Eでカメラ目線モードになる
トラブルシューティング
メニューをいじるたびカメラアングルが変になる
カメラロック（Ctrl＋L）か、アバターを地面に接地させる（Ctrl＋G）で落ち着くはず
キャリブレーションをやり直したい
起動してStreamer Mode（一番←のピンクの配信者アイコンをダブルクリック）に入るたびにキャリブレーションをやってくれるので、通常はそれに任せておけばいいと思う
キャリブレーションをリセットしたいなら Motion Capture→ 3. Facemesh options → 7．Calibration Options → A. Reset Calibration
なぜUI/Settingsのところにないのか
キャリブレーションに限らず、すべてやり直したいなら UI/Settings→4 Miscellanious Options→Reset all settings
Streamer Modeの設定を複数保存したい
残念ながら直前のPose/Camera/Mocap/VMCの組み合わせしか保存されないようだ
なのでお気に入りの設定組み合わせが決まったあとであれこれいじると上書きされてしまう
UI/Settings→ 4. Micellaneous Options →4. Export all settingsでなんとかなる気もする（試してはいない） インポートに関するメニューはないのでドラッグ＆ドロップを使う
そのほかの情報
実はブラウザ版がある
タスクバーの右クリックからもいろいろ操作できる
アバターを変更したいときの再起動はここからやるのが楽
左上の小さな四角は各モード、FPSなどの情報を示している
消したいときはUI/Options→1. Overlay & UI →4. Mocap debug displayをクリックしてOFFにできる
ハンドカメラモードのオン・オフなども確認できるので、OBSに映らないようにさえしておけば出しっぱなしでもいいかもしれない
全部消せばすっきりと配信できる
2のカメラは本当に気をつけよう
部屋は明るくしよう
よりよいトラッキングのためには必要なこと
薄暗い部屋が好きなら、そばに辛くない明るさのライトが1つあるだけでも違うのでぜひ置いてみてほしい
細かい設定についてはだいぶ省いた
ここまでに紹介してきた機能を理解した上で、平易な英語を読むことができ、とっちらかったメニューに付き合う根気がある方は、XR Animatorのさらなる活用に取り組んでいただきたい
それにしてもUIもうちょっとなんとかならないかな……
このエントリで使用したもの
3Dアバター：自作（猫の姿のわし 通称 ねこわし）
アバターデザイン・Live2D版制作：糸電話さま X SKIMA
衣装デザイン・制作：kowareul 佐久本さま サイト BOOTH
ねこわし背景： 淀ラドさま まとめ Skeb
ありがとうございます サポートへのメッセージには個別にお返事を差し上げています でも Twitchをフォローしていただけるのがサポートとしてはいちばんうれしいです https://www.twitch.tv/rurune お金は大事にとっておいてください