ビジョンカメラを用いたマーカーレス3次元人体姿勢推定手法の開発に関する研究
2022年度研究会推薦博士論文速報
［ヒューマンコンピュータインタラクション研究会］
大野 祐汰
（株）フレクト
■キーワード
3次元人体姿勢推定／マーカーレスモーションキャプチャ／オクルージョン
【背景】深層学習によるマーカーレス3次元人体姿勢推定の発展
【問題】マーカーレスに起因する実環境上での推定精度の低下
【貢献】実環境での3次元人体姿勢推定手法の推定精度の改善と応用
マーカーレス3次元人体姿勢推定は，3次元空間上における人体の位置や姿勢を推定する技術であり，マーカーを用いた姿勢推定と比べ，煩雑なセッティングをすることなく， 3次元人体姿勢を容易に推定できる．そのため，幅広い分野での応用が期待されている．
マーカーレスで3次元人体姿勢を推定する手法は，可視光カメラ方式とデプスカメラ方式に大別される．可視光カメラ方式はRGB画像から3次元人体姿勢を推定するもので，さらにモデルベースとステレオビジョンベースに分けられる．モデルベースは，人体のRGB画像とそれに対応する2次元と3次元人体姿勢の対からなる大規模データセットを用いて，深層学習に基づいて3次元人体姿勢を推定する手法である．しかし，この手法では体全体の姿勢が映ることが前提であり，体の一部にオクルージョンが生じる（手前の物体の陰に隠れる）と推定精度が低下する可能性がある．一方，ステレオビジョンベースは複数視点のRGB画像における人体の姿勢とカメラの位置との関係をもとに3次元人体姿勢を推定する．この手法では三角測量の原理に基づいて各RGB画像上で推定した2次元人体姿勢から実空間上の3次元人体姿勢を推定できるが，ステレオ画像間での2次元人体姿勢の対応点を正確に推定することは困難である．デプスカメラ方式は，デプスカメラで計測される奥行き情報から3次元人体姿勢を推定する手法である．Azure Kinectは奥行き情報に3次元人体モデルをフィッティングすることで，3次元人体姿勢や3次元手姿勢を推定できるが，指先にオクルージョンが生じると3次元手姿勢を正確に推定できない場合がある．このような課題を解決しなければ，前述の手法を実環境に適用した場合，推定精度が低下する可能性がある．
本研究の目的は各手法の課題を解決するとともに，実環境におけるマーカーレス3次元人体姿勢推定の精度とその応用可能性を明らかにすることである．まず，モデルベースの課題に対しては，計測可能な関節地点に対して部分的3次元人体姿勢推定モデル$${^{1）}}$$を用いて，異なるオクルージョン条件下での推定精度を評価した．その結果，当該モデルは正面から計測された3次元人体姿勢をより正確に推定できることが分かったが，俯瞰視点からの計測では改善が必要であることが分かった．次に，ステレオビジョンベースの課題では，テンプレートマッチングを用いてRGB画像間の2次元人体姿勢の対応点を改善し，異なる画角や計測方向からの推定精度を検証した結果，精度の改善を確認することができた．そして，Azure Kinectの課題では，Azure Kinectとモデルベースでの手の姿勢推定手法を組み合わせ，オクルージョン下においても詳細な3次元手姿勢推定が可能であることを確認した．最終的には，マーカーレス3次元人体姿勢推定が実環境上での応用可能性を検証するために，ステレオビジョンベースまたはAzure Kinectを用いた各手法を薬剤ピッキング作業のモニタリングへ応用し，当該作業の判別が可能であることを明らかにした．
本研究で得られた成果が，マーカーレス3次元人体姿勢推定の実利用に向けた今後の研究の発展に貢献できることを期待したい．
参考文献
1）Ono, Y. , Prima, O. D. A. and Hosogoe, K. : Evaluations and Applications of Partial Body Joint Model in 3D Human Pose Estimation from Single Image, International Journal on Advances in Life Sciences, Vol.13, No.1 and 2, pp.114-123 (2021).
（2023年6月1日受付）
（2023年8月15日note公開）
ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー
取得年月：2023年3月
学位種別：博士（ソフトウェア情報学）
大学：岩手県立大学
ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー
推薦文［情報環境領域］ヒューマンコンピュータインタラクション研究会
本論文は人体非接触での3次元空間人体部位の位置・姿勢推定手法におけるオクルージョンおよび計測誤差問題の改善手法を提案し，その効果を検証した．また，実用例として薬剤ピッキングのモニタリングに提案手法が適用可能であることを示した．本研究はマーカーレス姿勢推定の実用化に貢献するものであり推薦する．
研究生活 学部生のとき，所属研究室の演習でビジョンカメラを用いた人間の動きの観測を経験し人間の行動解析に興味を持ったことをきっかけに，マーカーレス3次元人体姿勢推定に関する研究に取り組み始めた．卒業研究で初めて研究活動を体験したが，それまでの勉強とは異なる“答えのない問題を追及すること”に悪戦苦闘しながら修士課程修了までの3年間をかけて研究のいろはを学べたことは，今思えば非常に貴重な経験だと感じている．
博士課程は，修士課程までに培ってきた“深く思考し自分なりの答えを導き出す力”をもとに研究に取り組み成果を生み出す絶好のフィールドであると考える．当然思うように研究が進まず苦心することも多かったが，その過程は逆境を乗り越える力を養うための糧となっていると感じる．最終的には，博士号取得という良い結果を出せたのは，学部生のころから長きにわたり熱心にご指導くださったPrima Oky Dicky Ardiansyah教授をはじめ，副指導の先生方，研究室のメンバ，そして研究生活を支えてくれた両親のおかげであり，ここに感謝の意を示す．