センサ行動認識のチャレンジ1

この記事は人工知能学会「私のブックマーク」2021年3月号に寄稿した物のほんの一部を、推敲もかねて載せます。マガジンに連載予定です。

以下の続きです。

チャレンジ1： センサの多様性

センサ行動認識においては、用いられるセンサの種類やそのハードウェア規格、取り付け方などの用法を細かく規定することができず、実際に用いられる際には多くのバラエティがあると考えられます。
ウェアラブルセンサの場合は、 体の様々な部分につけられたり、環境センサの場合は外気温や明るさ、気圧といった場所や時間帯によって値の取れ方に違いが出てきます[Kunze08][Bayati11]。

Kunze, Kai, and Paul Lukowicz. "Dealing with sensor displacement in motion-based onbody activity recognition systems." Proceedings of the 10th international conference on Ubiquitous computing. 2008.

Unsupervised Adaptation to On-body Sensor Displacement in Acceleration-Based Activity Recognition

センサの種類も様々ですし、また 同種のセンサであっても、それらの特性や精度も様々です。

私たちの研究では、利用時のデータ欠損に対して、学習時にもデータ欠損を想定して学習することで精度を上げることができる手法[Tahera20]を提案して、国際会議ICIEV18で優秀論文賞をいただきました。

A Method for Sensor-Based Activity Recognition in Missing Data Scenario

また、時には全く新しいセンサも用いられます。
例えば、文献[Kalifa15]では、シミュレーションですが、加速度センサが発生するエネルギーでセンシングする方式を提案しています。

Pervasive self-powered human activity recognition without the accelerometer

最近では Wifiを使って、 通信路上にいる人の呼吸[Abdelnasser15]、睡眠、体動、心拍、そして行動を認識する手法[Amane18]も出てきています。

Abdelnasser, Heba, Khaled A. Harras, and Moustafa Youssef. "UbiBreathe: A ubiquitous non-invasive WiFi-based breathing estimator." Proceedings of the 16th ACM International Symposium on Mobile Ad Hoc Networking and Computing. 2015.

Unobtrusive detection of body movements during sleep using Wi-Fi received signal strength with model adaptation technique

屋内位置検出と行動認識を同時に行うもの[Wang16]も出てきています。
これらのセンサやセンシング方式の多様性に対して頑健な方式は、今後も課題となると考えられます。

Device-Free Simultaneous Wireless Localization and Activity Recognition With Wavelet Feature

また最近では、OpenPose等のツールを使って動画からの人間の姿勢抽出が容易になったこともあり、動画とセンサを組み合わせた行動認識の研究も盛んになってきています。

CMU-Perceptual-Computing-Lab/openpose

私たちの研究[Adachi20]では、OpenPoseで得られた人間の2D姿勢を[Martinez17]のような3D推定と組み合わせてデータ増幅を試み、ABC2020国際会議で最優秀論文賞をいただきました。

Adachi, Kohei, et al. "(Best Paper Award) Improvement of Human Action Recognition Using 3D Pose Estimation." Activity and Behavior Computing. Springer, 2020. 21-37.

Martinez, Julieta, et al. "A simple yet effective baseline for 3d human pose estimation." Proceedings of the IEEE International Conference on Computer Vision. 2017.