【学会参加報告】カメラ搭載ヒアラブルデバイスで取得した耳画像を用いた個人識別・認証システムの提案(ヒューマンインタフェースシンポジウム2022)

初めまして、杉浦裕太研究室B4の瑞穂といいます。
8/31〜9/2に関西大学で開催されたヒューマンインタフェースシンポジウム2022に参加し、イヤフォンを用いた個人認証の研究についてポスター発表を行ってきました。その様子についてご報告させていただきます。

研究の概要

イヤフォンは現在、主にスマートフォンやPCなどの情報端末と接続して使われています。しかし近年、通話やアプリの操作などイヤフォンを通して秘匿性の高い情報にアクセスできるようになってきており、将来的にはイヤフォン自体がセキュリティ機能を持つ情報端末となり、他の端末と接続せずに単体で動作する未来が近いのではないかと考えています。
そこでイヤフォン単体での個人認証手法が必要だと考え、今回の提案手法ではイヤフォンに小型のカメラを取り付け、それにより取得した耳の一部の画像によってユーザを識別・認証することを試みました。

カメラを装着したイヤフォン（左）と撮影の方向（右）

撮影した耳の一部の画像

識別では、ある耳の画像が事前に登録されたユーザのうち誰のものかを推定します。画像から計算したHOG特徴量を、サポートベクタマシンという機械学習モデルにより分類します。実験参加者10人分のデータ450枚を学習させ、テスト画像50枚を92.6%の精度で識別することができました。

認証では、あるテスト画像がどのくらい本人らしいかというスコアを算出し、本人かそれ以外かを判別します。認証に用いたオートエンコーダという機械学習手法では、入力画像から次元圧縮して特徴量を抽出し、再度その特徴量を用いて元の画像を復元します。このとき、モデルを入力画像と復元画像が同じになるように、本人のデータのみを用いて学習させます。そのため、入力画像と復元した画像の差が小さい場合は本人、大きい場合本人ではないと判別できます。結果、認証のエラー率は10人の平均で2.02%となりました。

この手法は、明示的な認証行動(指紋認証でいう指をかざすような動作)が必要ないため、ハンズフリーやアイズフリーを促進し、また一度セキュリティロックが解除された後も常時認証できるため、セキュリティが高くなります。

当日のフィードバック

発表場所が一番奥で入りにくい場所だったのですが、多くの方が説明を聴きに来てくださり、とても有難かったです。特に研究背景や想定する利用シーンについてのコメントや質問を多くいただきました。個人認証をしてより秘匿性の高い情報にアクセスできるという用途だけでなく、例えば認証した個人に合わせた補聴器の自動調整や、オンライン試験での本人確認など、様々な利用可能性について議論することができました。

発表中の様子

感想

私は初めて学会に参加したのですが、本当に様々な研究や発表があり、ヒューマンインタフェースという分野の広さを実感するとともに、多様な考え方や課題を知ることができ、とても勉強になりました。

発表以外にも、大阪の街を歩きながらヒューマンインタフェースを探す、という内容のワークショップにも参加しました。例えば、酔っ払いの転落防止のために駅のホームの椅子が横向きに設置されていたり、自転車の不法駐輪を防ぐために駅の入り口付近にベンチが設置されていたりなど、何気ない日常の風景の中にも誰かのことを想ったインタフェースが溢れているのだなと気付くことができました。今回発見したものの中には大阪ならではの、県民性を考慮したものも多くあり、そこに実際に住む人々への思いやりが感じられました。そういった面が、この分野の面白くて魅力的な部分だなと改めて感じ、より一層今後の研究活動へのモチベーションが高まりました。

横向きに設置されたホームの椅子

発表情報

瑞穂ゆりな，川崎陽平，雨坂宇宙，杉浦裕太，カメラ搭載ヒアラブルデバイスで取得した耳画像を用いた個人識別・認証システムの提案，ヒューマンインタフェースシンポジウム2022，関西大学，大阪．

発表ポスター