ジェスチャ認識のための動的アクティブ音響センシング手法の確立
2022年度研究会推薦博士論文速報
［ユビキタスコンピューティングシステム研究会］
雨坂 宇宙
（慶応義塾大学訪問研究員（日本学術振興会 特別研究員PD））
■キーワード
ウェアラブルコンピューティング／アクティブ音響センシング／機械学習
【背景】アクティブ音響センシングを用いたジェスチャ認識システムの改善
【問題】装着誤差による不安定な信号変化と信号減衰が大きなセンシング対象
【貢献】信号補正手法の適用とパッシブ音響センシングの利用
ユーザの身体にデバイスを装着し，ユーザの行動記録や情報の提示，その他の情報端末を操作（情報入力）することが可能なデバイスをウェアラブルデバイスと呼びます．近年はスマートウォッチの普及が進んでいますが，ユーザの好みや目的に合わせて，これからさらに多くのウェアラブルデバイスが開発され，普及していくと考えられています．ウェアラブルデバイスを用いて情報入力を実現するために，ユーザの手ぶりや身振りを利用する手法（ジェスチャ認識手法）があります．ユーザのジェスチャを認識するためには，ユーザの動きをセンシングする仕組みが必要です．さまざまなセンシング手法がありますが，人体や物体に超音波信号を伝播させ，ジェスチャ時の信号変化を取得・解析することでジェスチャを推定する技術をアクティブ音響センシング（AAS: Active Acoustic Sensing）と呼びます．
AASは，スピーカとマイクを利用しますが，これらの素子は音楽や通話などにも利用できる点で，ウェアラブルデバイスとの相性が良いといえます．一方で，既存のAASにはいくつかの課題がありました．本論文では2つの課題に注目し，それらの課題を解決した動的AASという手法を提案しました．解決する課題の1つ目が，デバイスを装着する度に信号の伝播特性が変化（装着誤差）してしまうという問題です．伝播特性が不安定な場合，同じジェスチャを行ったとしても得られる信号が変化するためシステムが誤認識を起こしてしまいます．2つ目の課題が，衣服などの不安定なセンシング対象は超音波信号の減衰が大きく，信号変化が不安定である（不安定なセンシング対象へのAASの適用）という問題です．この問題も同様にジェスチャ認識を困難にさせるという問題があります．本研究ではこれらの課題に対して，信号補正処理とパッシブ音響センシングの併用という解決方策をそれぞれに取り入れました．
信号補正手法では，システムが再生する超音波信号を動的に修正することで，装着誤差を低減させ，ジェスチャ時の信号変化が一定になるようにAASを改善しました．この信号補正手法を，イヤホン型デバイスを用いて表情や頭部の向きを認識する手法に適用し，有効性を確認しました．
続いて，パッシブ音響センシングの併用手法とは，AAS単体では困難であった不安定なセンシング対象に対して，ジェスチャ時に自然発生する音を解析するパッシブ音響センシング技術を併用することで認識率を向上させるという手法です．また，AASも利用することでAASの強みであるノイズへの頑健性を取り込むことができます．この手法を，衣服ジェスチャ認識システムに適用し，有効性を確認しました．
これまでの説明のように，AASを核技術として，これまで実現されていなかったウェアラブルデバイスへの情報入力手法を模索する研究を行っています．
（2023年5月30日受付）
（2023年8月15日note公開）
ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー
取得年月：2023年3月
学位種別：博士（工学）
大学：筑波大学
正会員
ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー
推薦文［情報環境領域］ユビキタスコンピューティングシステム研究会
本論文は，頭や顎の動きをイヤホンを使って検出したり，シャツ等の衣服をタッチパネルのように操作できるようにする新技術が示されています．これらは，身につけて使う音楽プレーヤやランニングウォッチ等のウェアラブル機器を身振りで操作できるようにするので，将来の機器の操作法を劇的に変える可能性を秘めています．
研究生活 研究テーマは指導教員の先生とともに，AASとイヤホンを使った研究テーマを模索している中でアイディアが浮かび，そのままAASに関する研究を進めていきました．私は博士後期課程の進学時に，北海道大学から筑波大学に研究室を変えたのですが，まさかのCovid-19の大流行と重なってしまいました．新しい環境と慣れないパンデミック生活が重なり，人にお願いする実験もまったくできない日々が続いた時期は苦労しました．ですが，今となっては貴重な体験になったと思います．
博士課程の3年間は自由度が高く，どんなことにでも挑戦できます．ただ，何も考えなければあっという間に時が過ぎてしまうのも博士課程です．何かを突き詰めて新たな道を拓きたいと少しでも考えている方はぜひ博士課程に進学してみてください．