見出し画像

体操選手のトランポリンを個人レベル機材でモーションキャプチャ出来るのか？なメモ

えぬぽんた

前置き

VRChatというVR SNSで3年程遊んでいて、最初にKinectから入ったのでVIVE Tracker以外のモーキャプに興味があります。
普通の動作はwebカメラ + AI姿勢推定の方式でもかなり使えるようになって来ていると思います。

(あくまで個人的な趣味での情報です。
間違いなどあるかもなのでご注意ください。)

Solanさんの動画ツイートのような動きを、表現にある程度使えるレベルでモーションキャプチャ出来るのか？とちょっと気になったので、たいして詳しくはないのですけど、僕が知っている情報をまとめてみます。

大変な点

  1. 手足の末端速度が早くてヤバい (座標の移動 + 回転も)

  2. キャプチャーが必要な空間が広い

  3. 体操が行える環境で使える、安全性とお手軽さが必要

除外する機材

VIVE Base Station

VR用トラッカーの標準で基準となるに十分な精度がある。
今回の用途だと、ベースステーションの投射と認識範囲で不可

IMU系

IMU系は金属周辺などは地場など原因でのドリフトがあるらしい？
現状の有名なハリトラ、Uni-motion、mocopiがあるが、有線でなく無線のタイプを使う必要があると思われる。

mocopiは単体で6点撮れるため、デスクトップモードで使える外部アプリと組み合わせることで使えるかも？(後述)

新しいカメラ内蔵VIVE Tracker

内蔵カメラとIMUで「Meta Quest Touch Proコントローラー」っぽい
今回の用途だと、精度と使い勝手が一番良さそう
※まだ発売されてない (2023-0903)

使えるかも？なモーキャプをちまちま記載

民生用 - PC向けwebカメラでのAIモデルを利用したモーキャプ

ThreeDPoseTracker

単一の動画から3Dモーションを推定出来る。
iPhone単体でも3次元のモーションキャプチャが可能で、OSC trackerで動かせる。
一番お手軽で近頃は外部ソフトと専用アバターでデスクトップモードでも動かせる仕組みが出来たみたいです。
ただ単眼のため、奥行き方向の認識は精度が落ちると思われること。
独自に画像を学習させているモデルを使われてますが、トランポリンのような激しい動きの認識率は低くなるかと思われます。

単眼のwebカメラのみで、3Dの奥行きまで持って姿勢推定出来て。
iPhone + Quest2のみでフルトラ出来る。
個人的には、普通の使い方ならめっちゃおすすめです。


MocapForall

こちらはカメラを増やすことで、認識率を上げることが出来るらしいです。
使ったことはないのですが、2台以上に増やせば奥行き方向も結構動くみたいです。
ただAIモデルを複数動かすため、早い強いGPU積んだPCで専用に動かさないとリアルタイムに動かすのは難しそうです。

カメラで捉えた範囲の人物部分のみを検出して、それを姿勢推定に渡す処理があると思われる。
なので解像度高め + フレームレート高めのweb camで行うと、広い範囲でのキャプチャが出来るかも？

演技の周りに2台以上のカメラを設置する必要があり。
スタンド設置、ケーブル引き回しなど、更に安全性を確保となると大変そう。
普段使いとか、めっちゃ強いサブPCあるならダンサーさんも使えるかも？
(要検証)

MocapForAllと空き家総研の目指すところ
（トラッキング技術勉強会登壇映像）

Using MocapForAll Full Body Tracking High speed about 120fps

民生用 - mocopi

IMU方式で安くて小さく軽いらしいです。
一式のみで6点全身フルトラッキング出来る。
OSC trackerと対応アバターで組み合わせればデスクトップモードで、全身の動きを反映出来るようになってきているみたいです。

身体に装着するのはmocopiだけなため、装着性は一番良さそう。
Bluetoothでキャプチャアプリと通信すると思われるので、それが途切れずに通信を続けれるか。
広い空間を飛び跳ねてちゃんとモーションキャプチャ出来るかは、実際に試す必要があると思われる。
(買ったけど使ってないダンサーさんとかがいそう。)

民生用のセミプロ寄り？ - 赤外線深度カメラでのモーキャプ

赤外線を使った深度情報から、モーキャプを行う。
(Kinect、Intel RealSenseなど)

深度情報と画像から姿勢推定なソフト群

深度情報があるため、割りとしっかり認識する。
普段はしないようなポーズはやっぱり苦手と思われる。

カメラ自体がまだ個人でも手が出る値段なので、モーションキャプチャ用のソフトも複数存在する。
カメラ1台から複数台を使うもの、プロ向けのソフトから(OptiTrack?)、個人制作のソフトまで色々有る。

(筆者は初めの1年くらいKinect使ってた、腰と足に何も付けないでいいので楽)

ただ今回の用途だと普通に使うと、カメラ性能の認識範囲外になると思われる。
赤外線でドットパターンを投射して、その反射を撮るなどして精度を上げていたりするが、カメラのスペック範囲外の広さと思われる。

iPhoneなどのLiDARもこの広さには対応できないと思われる。

検出部の頭腰と手足を光らせて2台のカメラでキャプチャ

カメラ2台以上で検出点を捉えて、MocapForallと同様に三角測量的に3次元座標を求める方式

PlayStation Moveのように光の色で各点の区別が出来れば、普通のwebカメラでも可能と思われる。
・赤外線を投射 + 再帰性反射テープで光らせる
・LEDベルトで光らせてカメラで捉える

Realsenseの赤外線カメラを利用して簡易モーショントラッキングを行う

独自にソフトを作る必要があるので、そこがかなり難しい。
ただ映画とかでの撮影で反射ボール使ってるのもあり、処理負荷も低く応答性も高いものが出来ると思われる。

黒いアクタースーツを着て、録画画像の色を限定出来るなら。
頭腰、手足に各色違いの蛍光テープを巻くことでモーキャプ出来る可能性あり。

まとめと感想

今の段階だと、新しいカメラ内蔵VIVE Trackerが精度と使い勝手的に一番可能性が高いと思われる。

次にmocopiがお手軽かつHMDがなくても行ける可能性があり。
IMUのズレを一定時間ごとに補正する時間も設ければ、小型軽量なのは魅力。

3番めはソフトの自作が必要ですけど、やろうとしていることが特殊なので、反射系のテープ + 複数台カメラなどでの3次元座標検出が可能性ありそうに思いました。

ツイートを見かけて、気になったので調べてみました。

(蛍光テープで色の違い検出出来るくらいの色種類あるか、気になりだしました。)

以上、めもでした。


いいなと思ったら応援しよう！