見出し画像

カメラだけでフルトラッキング?!MocapForAllとはいかに?

はい!ぐっめ~~にん💛ですです🐐
今日から「MocapForAll」というトラッキングソフトを試してみます!
このソフトお手持ちの携帯カメラやwebカメラだけでトラッキングできちゃうそうなんです!

ちょい導入がややこしそうですがやっていきます!
できたらUEでフルトラLiveをTake Recorderで読み込みアニメーションのモーションつけ、いわゆるフェイシャル+ハンド+足+リップぜ~んぶのトラッキングが叶うといいなと思っています。

うちにあるカメラ3台体制で挑むぞ!!

カメラお品書き

・いつものlogicool c922webcamera
・携帯camera ASUS_X01AD (数年前のモデル古め)
・携帯camera ASUS_X01AD  (上とまったく同じ)(画面が割れている←w

超よわよわ構成です

携帯カメラをPCに写すソフトのインストール

・iVCam
・DroidCamApp

をPCにインストール。
各々の携帯にもソフトをインストール。
特にiVCamが何にも設定入らずですぐにPCに表示できました!便利!!
同じインターネットの回線に接続させていれば簡単にPCに写すことができるそうです。

とりあえず2台のカメラでまずは試します!公式さんがおすすめしているように問題がある場合はもう1台引っ張り出すことにしまか。

とりあえず公式が用意してくれているソフトで実験

できた!
すごく簡単にできたけど、フェイストラッキングはしてくれないんだね?でも手のトラッキングは使えるかもしれないなと思うかんじでした。
カメラの設置場所をもっとちゃんとすればもっと精度あがるはず(といいな・・・)
というかんじでした。

MocapForAll in UE5 デモ中に録画してみたアニメーション

検出精度は校正をきちんとすればいけるにしても、色々気になるところが・・・表情を読み取らせてもモデル側に変化が見られない。また、ボーンの重力設定がVRoidで調整したものになっていない。

どこかいじったらいけるのかもしれませんが、思い当たるところいじりましたが反映されませんでした(´;ω;`)

VMC?とかで表情が他のものから受信できるらしいのでそこが突破口なのか?とか思い解決策を探してネットの海へ・・・(かっこよく言いましたがググりまくっただけですw)

でもこれでいける!という情報を見つけられず・・・

う~~ん、となって見つけた動画

何というか、TDPT試してみようかなという気分に。

こっちの方が設置が簡単で、きちんとVRoidの重力設定活きてる。そしてつま先の動きにも対応しているのでジャンプとか自然に映ってくれそう。
本当に適当にカメラ設置して写しただけで↓すごい!(足組みとかはできないけども)

一応VSeeFaceで顔のモーションは強化するという上記のびすたさんが紹介されている動画の設定はできた。

VSeeFace画面(VTuberさんにはおなじみのソフトのひとつ)

このソフト間の送受信にVMC?とかいう謎の受信形式?を使っています。

TDPT(体のモーション)ー((VMC))->VSeeFace(+顔のモーション)

ということですね!私の理想ではこれをさらに

TDPT(体のモーション)ー((VMC))->VSeeFace(+顔のモーション)
ー((VMC))->UE5(空間出現)

ともっていければ理想なのですよ!!これができれば大前進!!!しかも無料!!!

明日はここを突っ込んでいきます!!!

この記事が気に入ったらサポートをしてみませんか?