【センシングフォーラム2023に参加】ヒアラブルデバイスにおける音漏れ信号を用いた空中ジェスチャ認識

はじめに

　こんにちは、杉浦研究室学部4年の鈴木俊汰です．8月31日，9月1日に高知工科大学で行われた第40回 公益社団法人計測自動制御学会センシングフォーラム計測部門大会において、「ヒアラブルデバイスにおける音漏れ信号を用いた空中ジェスチャ認識」というタイトルでポスター発表を行いましたので、参加報告させていただきます．北海道大学の渡邉 拓貴先生との共同研究となります．

研究の概要

　近年発売されているヒアラブルデバイスは通話や音楽再生，音声認識などを搭載しており利便性が高いですが，本体をタッチする操作は定義できる操作数に限りがあり，スマホによる操作でも画面を注視する必要がありユーザビリティが低下するという制約があります．ヒアラブルデバイス本体での操作を可能にするため，一般的には静電容量センサや感圧センサ，物理ボタンが実装されています．しかし，手が汚れている場合や手袋を使用している場合はこれらのセンサが使えないというデメリットがあります．

　そこで本研究ではヒアラブルデバイスの操作性向上のため，デバイスからの超音波の音漏れを利用した空中ジェスチャ識別手法を提案しました．ジェスチャを行う手に反響した音漏れ信号のドップラー効果を利用し，ジェスチャ時の音声をスペクトログラム画像に変換して深層学習を行うことによって，ジェスチャ識別を行いました．超音波信号を録音するため，内蔵マイクを使用せず市販のインイヤー型イヤホンに対し，外部マイクを実装したプロトタイプデバイスを作成しました．

音漏れの様子

インイヤー型プロトタイプデバイス

考案した7ジェスチャでの識別制度を被験者1人に対し，各ジェスチャと何もしない状態の計8状態を20回ずつ計160回分のデータを使用して調査しました．その結果，Fスコアは81.2%でした．

当日のフィードバック

使用しているCNNモデルの詳細な構成や，録音時の環境，7つのジェスチャ選定理由などについて質問を頂きました．また，実験環境の変化に対する評価や識別しやすいジェスチャの選定方法などに関するフィードバックを頂きました．

感想

　初めて自身の研究を外部に発表する機会になりました．多くのセンシングの専門家の方々に聴講していただき，多くのフィードバックを頂き大変参考になりました．また，学会に参加する学生の方々とも多く議論し，研究により注力したいと感じました．

　会場では立食パーティーが行われ，様々な分野の専門家の方々との交流もあり大変有意義な学会でした．

発表ポスター