カメラ式のトラッキングのメモ１

目標

なーんも身に着けずになんとかしたいなという
条件としては
・入手性高い光学式のカメラ
・mediapipeの骨格推定、Hand
・室内の照度は十分に

機材とかとか

パソコン

FPS低めでもいいならCPUのみで可能だけど、３Dモデル描画時にGPUあったほうがいいです。
ソフトウェア・アプリケーションは、Unity と Python と Arduino IDE つかってます。OSはwindows。

スマホ

ネットワークカメラのアプリ使うためにいる。

カメラ

１．USB接続のWEBカメラ
２．マイコン＋カメラでmjpegなどでストリーム
３．ネットワークカメラからRTSPなどでストリーム

それぞれメリット、デメリットは
いまどきのWEBカメラは接続するだけでドライバのインストール不要もしくは簡単。とにかくすぐ使える、ただし有線。画質などは値段と相談。

マイコン＋カメラはESP32CAMがいいかと思ったけど技適付きのものが手に入らないので脱法カメラになる可能性が高いので合法的に使えるものは選択肢が少ない。ファームウェアの書き込み、IPアドレスを見つけるなどちょっと技術は必要。バッテリー駆動できたり、WIFI接続で場所を選ばないのはメリットとして強いかもです。

ネットワークカメラはRTSPできるものを探すこと。家庭用のお手頃価格モデルは専用アプリオンリーだったり注意。WIFI接続のものが多いので電源さえ確保すればどこでも使える。マイコン＋カメラに対して広角＋暗視＋赤外線LED搭載、パンチルも工夫(ONVIF対応なら)すればできるまどアドバンテージ結構多い。設定にスマホアプリなこと多い。

トラッキング対象

自分のリアルボディ使えばいい。テスト時は、写真をカメラの前においておくというルパン方式でもいい。複数カメラまで実現できるならアクションフィギュアとかがいいかな。

基本は、カメラ～python～Unity

カメラからPythonはUSB、mjpeg、RTSPといろいろとあるのでPython側で吸収。

Pythonで骨格推定をした後にOSCでランドマークをUnityに送信。
綺麗に整理整頓できればVMCPで遅れる可能性を考えてOSCです。

UnityではOSCで受け取った骨格情報（プロトタイプではLandmark）を描画する。位置情報をGameObjectでプロットして、骨格構造的に根本から先端へ順番に軸を回転させて行けばそれなりに見える。関節の方向とか考慮して出来てないので膝、肘が骨折すること多い。

以上

思いつきでテストしてる段階のお話をとりとめもなくまとめただけなので写真とかソースとかあと実機の型番や機種情報なくてごめんね✌✌