【学会参加報告】背部触覚提示を用いた指揮動作の軌道提示手法（エンターテイメントコンピューティング2022)

はじめに

こんにちは、杉浦裕太研所属のM1の上田雄斗です。

9/1、2、3に開催されたエンタテインメントコンピューティング2022にて「背部触覚提示を用いた指揮動作の軌道提示手法」というタイトルで発表を行いましたので、その報告をさせていただきます。

今回発表した内容は、振動アクチュエータを用いた触覚提示により、視覚障碍者に指揮動作を提示する手法についてです。

研究の概要

私の趣味は、オーケストラでファゴットという楽器を演奏することです。このような音楽活動は、誰もが楽しめる文化活動であり、様々な人と一緒に演奏できたらいいなと思っています。

昨今の教育機関や企業において、各人の多様性を受け入れ活かしあう「Diversity & Inclusion」という考え方が浸透しつつありますが、演奏活動などの文化芸術活動においても、それに参加する人の多様性は担保される必要があると思っています。

とりわけ視覚障碍者は、指揮者の手の動きで表現される拍子が見えないため、オーケストラなどの指揮を伴う演奏活動に参加することが困難な場合があります。

そこで先行研究では、指揮動作によって表現される拍を共有するために、触覚提示を用いる手法が検討されてきました。しかし、既存手法では、主に1～4つの振動アクチュエータを用いて、触覚提示部における振動の有無を用いて拍を提示しているため、提示可能な情報量は限定的でした。例えば、指揮の軌道やその大小による指揮動作の情報は、拍のタイミングや演奏表現を伝達するための重要な情報ですが、既存手法ではこれらの情報を直感的に提示することは難しいです。

そこで本研究では、振動アクチュエータを用いた触覚提示により、視覚障碍者に指揮動作の軌道を提示する手法を提案します。
指揮動作をセンシングし、その軌道を触覚を用いてユーザの背中に提示するというものです。

指揮動作の軌道を提示するために、触覚の仮現運動という現象を用いました。触覚の仮現運動とは、ある位置に刺激が提示された直後に、別の位置に同様の刺激が提示されると、先行刺激点から後続刺激点に刺激が移動しているように感じられる現象のことです。この触覚の仮現運動を、4x4に並べられた16個の振動アクチュエータを制御することで実現し、指揮の軌道を触覚ディスプレイ上で再現します。

触覚ディスプレイは、平面に並べられた振動アクチュエータをクッションの内部に挿入したもので、それを椅子の背もたれに配置することで、ユーザは背中から指揮の軌道を感じることができます

提案手法の有効性を定量的に評価するために、演奏活動を想定した以下の2種類の実験を行い、先行研究のような拍の点での提示と、提案手法である軌道の提示において、どちらが拍をより正確に予測できたかを比較しました。

• テンポ変化：一定、 accel(だんだん速く)、rit(だんだん遅く)

• 演奏開始のタイミング

結果、以下のことが分かりました。

• テンポが一定やaccelの場合は点提示の方が効果的

• 一方、演奏開始のタイミングを理解するには軌道提示（提案手法）のほうが有効

以上から、点提示と軌道提示にはそれぞれメリットがあり、場合によって使い分けることが効果的と考えました。

今後としては、触覚ディスプレイの解像度を上げることや、当事者へのヒアリングを通してデバイスをより使いやすいものに改良していくことを考えています。

当日のフィードバック

視覚と触覚との反応時間の差を調査する必要性や、背中以外の提示部分を検討することについて議論をしました。

感想

対面での学会への参加が初めてだったので緊張しましたが、とても有意義な議論ができたのでよかったです。また、エンタテインメントコンピューティングでは様々なデモ発表があり、他の方の研究を実際に体験することができたので、とても楽しく良い刺激となりました！
前半の日程はあいにくの雨模様でしたが、後半はちょうどよく晴れ、自然豊かな京都の福知山を堪能できて良かったです！

発表文献情報

上田雄斗, 杉浦裕太. "背部触覚提示を用いた指揮動作の軌道提示手法." エンタテインメントコンピューティングシンポジウム 2022 論文集 2022 (2022): 155-159.

発表スライド

発表動画