Virtual Sensors with 3D Digital Human Motion for Interactive Simulation and Their Real-world Applications
2022年度研究会推薦博士論文速報
［エンタテインメントコンピューティング研究会］
Chengshuo Xia
（西安電子科技大学広州研究院）
邦訳：インタラクティブシミュレーションのための3次元デジタルヒューマンモーションを活用したバーチャルセンサと実世界アプリケーション
■キーワード
人間行動認識／機械学習／バーチャルセンサ
【背景】人間の行動認識システムは，さまざまなシーンで活用されている．
【問題】データ収集のため，システム開発のプロセスが非効率的でコストがかかる．
【貢献】ゲームエンジンを用いたバーチャルセンサ開発の研究を実施した．
RGBカメラや3次元スキャナといった高次元なデータを取得する実世界センサと比較して，加速度センサやジャイロセンサといった低次元なデータを取得するセンサがあります．このようなセンサを用いた人間動作（モーション）計測アプリケーションは日進月歩で，将来，生活の多種多様なシーンに溶け込み人々を支援することが期待されています．しかし，このアプリケーションはプロトタイプを重ねるたびにシステムを実体化した上で，センサデータを計測し直して精度を検証する必要があるため手間がかかります．
そこで，本論文はバーチャル空間内に配置した複数のセンサ群からなる「バーチャルセンサ」を導入し，センサの配置とデータ収集をインタラクティブに実現することにより実世界センサと等価なデータを収集する手法を提案しています．これは，多くの人々がアクセスしやすいゲームエンジンである Unity 3D 上で動作をするという特徴もあります．さらに本論文は，このバーチャルセンサを2つの異なる実世界アプリケーションに応用し，有効性を検証しています．
まず，効率的なモーション識別システムの開発手法ついての研究を実施しました．モーション識別のためには実空間や身体にセンサを取り付ける必要がありますが，センサを装着する場所や身体部位によってはモーションをうまく識別できない可能性があります．そこで本論文はバーチャル空間内でセンサ配置を最適化するアルゴリズムを考案し，これを組み込んだソフトウェア上で，3つの利用シーンにおいてモーション識別システムの設計をしました．1つ目は加速度センサを身体に取り付けて，走ったり，階段を上る動作の認識，2つ目は距離センサを身体に取り付けて，スクワッドやかかとの上げ下げ運動の認識，3つ目は洗面台の鏡に距離センサを取り付けて，手洗いや歯磨きを認識するシステムを設計しました．
また，バーチャルセンサを応用してモーション教示システム「VoLearn」を開発しました．まずVoLearnにユーザに教示したいモーションを登録します．VoLearnにモーションを録画した動画を読み込ませると3Dアニメーションが自動生成されます．次に読み込んだモーションデータをコンピュータ上で編集します．さらに登録したモーションとユーザのモーションの一致具合を確認するために，スマートフォンを身体に装着します．スマートフォンに搭載されているセンサを用いてユーザのモーションを評価しますが，限られた個数のスマートフォンではその装着位置によって上手に動作を計測できない可能性があるので，バーチャル空間上で再構成されたバーチャルスマートフォンを利用して装着位置を最適化しました．また，スマートフォンから出力される音を使用してユーザにモーションのフィードバックを行いました．今後は，VoLearnを実用的なエクササイズシステムとして仕上げていきたいと考えています．
■Webサイト／動画／アプリなどのURL
chengshuoxia.org
■動画URL（YouTubeチャンネル用）
https://www.youtube.com/watch?v=1Y_PV8NTtbw&t=213s
https://www.youtube.com/watch?v=JyQlLgaN1J4
（2023年5月30日受付）
（2023年8月15日note公開）
ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー
取得年月：2022年9月
学位種別：博士（工学）
大学：慶應義塾大学
ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー
推薦文［メディア知能情報領域］エンタテインメントコンピューティング研究会
身体動作を伴うエンタテイメントシステムを開発する際に，実世界でのセンサ配置検討や身体動作識別モデル生成のための学習データの蓄積に苦労をする．この効率化に向けてバーチャル空間内に配置した複数のセンサ群からなる「バーチャルセンサ」を提案し，2 つの異なる実世界アプリケーションに応用し，有効性を検証した．
研究生活 博士課程での生活は，激しく，忙しい． 私の博士課程の研究分野はHCIです． この分野の研究に触れることが初めてでしたので， 期間を通して多くのことを学ばせてもらいました．
博士課程では，COVID-19の影響を受け，多くの学会に参加することができませんでした． 多くのコミュニケーションは，オンラインで行われました．しかし，博士課程ではアメリカのUCLA大学に訪問をして研究することができました． 興味深い研究にもたくさん触れることができました．
博士課程での生活は忙しく大変ですが，その分，広い世界をもたらしてくれます．