Research on Complex Activity Recognition in Industrial Domains

2023年8月15日 09:56

2022年度研究会推薦博士論文速報
［ユビキタスコンピューティングシステム研究会］

吉村直也
（大阪大学情報科学研究科）

邦訳：産業ドメインにおける複雑行動認識に関する研究

■キーワード
行動認識／ウェアラブルデバイス／機械学習

【背景】生産効率を向上させるため，工場や物流センタへのセンサ・IoT機器の導入が加速している
【問題】収集できるセンサデータ自体は作業者の作業状態を表現するものとは異なる
【貢献】センサデータから作業者の作業状態を認識する作業行動認識技術に関する課題を解決した

　現在多くの工場が大量にセンサやIoT機器を導入し，収集したデータを解析して作業プロセスの改善に活用している．しかし工場では，梱包作業や組立て作業など，人間の作業者に依存している工程も数多く残されている．作業者にスマートウォッチなどのウェアラブルセンサを装着することで，データを収集することはできるが，生データからは作業者の作業状態を知ることは容易ではない．そこで，センサデータを「ネジの取り付け」や「バーコードの読み取り」などの作業工程の情報に変換する「作業行動認識技術」の開発が求められている．

　作業工程を認識することで，各時刻の各作業者の作業状態やその所要時間の把握が可能となり，機械だけでなく人間の作業者を考慮した，作業手順や工場全体の最適化を目指すことができる．しかし，作業行動は多くの既存研究が対象とする行動とは大きく異なる．本研究では，作業行動認識に関する3つの課題の解決を目指した．

（1）少量ラベル付きデータでの作業行動の認識手法の開発
　走るなどの日常生活の行動と異なり，作業工程は複雑動作であるため認識が難しい．さらに．各作業員は割り当てられた別々の作業を行うため，ある作業員から収集したラベル付き学習データを別の作業者に使うことが難しい．したがって，その作業員から収集した限られたデータで認識モデルを構築することが必要である．

　そこで，順序がある繰り返し行動に対する新しい行動認識モデルLight-weight Ordered-work Segmentation Network（LOS-Net）を提案した．LOS-Netは，（i）作業工程の前後関係など長期的なコンテキストとそれらの境界を効率的に抽出するデコーダ，（ii）作業工程の順序といった事前知識を活用する手法を導入することで，既存モデルに対して平均10%程度認識精度を向上した．

（2）大規模作業行動認識データセットの開発
　工場や物流センタには，様々なIoT機器が設置されている．たとえば作業者がバーコードをスキャンした使用ログはその作業者のその時刻の行動を表現するように，IoT機器の使用履歴はその時刻のユーザの行動と強い関係がある．しかし，センサとIoT機器のデータの両方を含む作業行動データセットは公開されておらず，IoT機器のデータと他のセンサデータの組み合わせた認識手法は十分に検討されていない．

　そこで，梱包作業における大規模マルチモーダルデータセット「OpenPack Dataset」を構築した．またこのデータセットを活用し，センサデータとIoT機器のデータを効率的に組み合わせるモデルを提案した．

（3）行動認識モデルに対する可視化技術の開発
　作業行動認識技術はニューラルネットワークをベースしているが，認識プロセスはブラックボックスである．現在これらの技術に精通している工場の管理者は少なく，信頼性できないアルゴリズムの出力に基づいて重要な意思決定をすることは難しい．

　そこで，ブラックボックスを理解するため，可視化手法であるActivation Maximizationを行動認識ニューラルネットワークに適用し，ユニットの出力値を活用した正則化手法を2つ提案した．公開データセットを用いて検証し，提案手法が学習データに出現する信号に近い信号を生成できることを確認した．

■Webサイト／動画／アプリなどのURL
OpenPack Dataset
https://open-pack.github.io/

■動画URL（YouTubeチャンネル用）
OpenPack Dataset - YouTube
https://www.youtube.com/channel/UC-AzuKxoJcyOtFi7B3CS4rA

参考文献
1）Yoshimura, N., Morales, J., Maekawa, T. and Hara, T. : OpenPack: A Large-scale Dataset for Recognizing Packaging Works in IoT-enabled Logistic Environments <https://arxiv.org/abs/2212.11152>. CoRRabs/2212.11152 (2022).
2）Yoshimura, N., Maekawa, T., Hara, T., Wada, A. and Namioka, Y. : Acceleration-based Activity Recognition of Repetitive Works with Lightweight Ordered-work Segmentation Network <https://dl.acm.org/doi/10.1145/3534572>, Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies (IMWUT), Vol.6, No.2, pp.86 (June 2022).
3）Yoshimura, N., Maekawa, T. and Hara, T. : Toward Understanding Acceleration-based Activity Recognition Neural Networks with Activation Maximization <https://ieeexplore.ieee.org/abstract/document/9533888>, Proceedings of International Joint Conference on Neural Networks (IJCNN), pp.1-8 (July 2021).

（2023年5月30日受付）
（2023年8月15日note公開）

ーーーーーーーーーーーーーーーーーー
　取得年月日：2023年3月
　学位種別：博士（情報科学）
　大学：大阪大学
　正会員
ーーーーーーーーーーーーーーーーーー

推薦文［情報環境領域領域］ユビキタスコンピューティングシステム研究会
本研究は，人間の行動情報を取り込んだ知的な産業を目指すものである．工場の製作機械の稼働状況などのデジタル化は進んでいるが，工場内の工員の作業のデジタル化は進んでいない．本論文は，ウェアラブルセンサを用いた産業分野における行動認識のための技術群を提案しており，将来の産業のための重要な研究として推薦する．

研究生活　　私が博士進学を決意したのは比較的遅いM2の5月頃であり，それまでは就活も進めながら，どの道に進むべきか迷っていました．しかし今博士課程を終えて，こちらの道を選択してよかったと心から感じています．もちろん博士課程は大変でしたが，自分の研究トピックを自分の意思で追求する時間を持ち，自分の強みを磨くことができました，また，研究プロジェクトへの参加などを通して，尊敬できる刺激的な人々と数多く出会い，より高いレベルの目標を描くことができました．この3年間で得た精神力・経験・人脈は，今後の大きな糧になると感じています．指導教官の前川卓也先生をはじめ，博士課程に進むことを推してくださった皆様，さまざまな形で研究を支えてくださった皆様に，心より感謝します．