第7回：音をキーワードに五感を通じたリアルな体験を再構築する
コモングラウンド・リビングラボ（以下、CGLL）に参加するパートナーの活動や取り組みを紹介するインタビュー。第7回目はCGLLで進められている複数のプロジェクトの内の１つ「Re;Sense（リ・センス）」について、参加メンバーであるTOA株式会社 開発室の宮田哲氏、株式会社大広ブランドアクティベーション統括 顧客価値開発本部の長谷川雄一氏にプロジェクトの概要や進捗状況などの話をお聞きしました。
# 異業種連携で挑むゲームチェンジ
プロジェクトが始まったきっかけは、CGLL設立後の2021年5月に開催された最初の「Member Meet Up（MMU）」で、宮田氏が「CGLLで音を活用したプロジェクトがしたい」と発表したことでした。
※Member Meet Upとは…月1回程度開催されるCGLLメンバー（会員企業）同士の交流機会
CGLLは、さまざまな技術やサービスを持つプレイヤーによる共創の場だと感じ、リアルタイム性の高いセンサネットワークを活用して、人の五感にタッチする部分で価値をつくっていくような取組みができればというイメージを持っていました。その視点で、交流機会において”音”をインプットし、未来社会を探索的につくっていく仲間を募ってみたいと構想しました。
MMU後にCGLLメンバーの方々から『音というのは身近でありふれたものであるがゆえに皆が気づいていない可能性がたくさんあるんじゃないか』というご意見をいただいたり、今ほど世の中に広がっていなかったメタバースという言葉やリアルとバーチャルの融合という世界観について意見交換を行ううちに、共創的に新しいことに挑戦できるのではないかという気持ちが強くなりました。
中でも特に関心を示してくれたシリコンスタジオと大広と一緒に、「Re:Sense」というプロジェクトチームを組成することになりました。特にプロジェクト組成以前から私自身ゲーム業界で起きている、現実空間をシミュレートし、仮想空間でインタラクティブにフィードバックを返していく姿が、現実空間に直接フィードバックされるかたちでこの先の未来に来るのではないかと意識しており、シリコンスタジオのゲームエンジンや視覚に訴求する3Dソフトウェア技術を活用した未来の描きにはとても共感するものがありました。CGLLを通して普段関わることがあまり多くない企業と接点を持つことができることも大きなメリットだと感じました。
「Re;Sense」という一風変わったプロジェクト名は、今後ますます技術が進化し、バーチャルな世界が広がったとしても、リアルな世界にいる人間の『五感』を豊かにするものを作りたいという共通認識をプロジェクトのメンバー全員が持っていたことに由来していると、名付け親の長谷川氏はコメントしています。
「ゲーム業界を中心に特異な技術を持つソフトウェアメーカーのシリコンスタジオ。聴覚という人の感覚にどうアプローチすればよいか考え続けた音の専門メーカー TOA。プロジェクトマネージャーとして企業同士の橋渡しを得意とする広告代理店の大広。全く違った目的をもってCGLLに参画した、全く異なった業界の企業同士が連携し、それぞれの強みを持ちよりながらプロジェクトを進めることができたことはとても面白い取り組みだと思います。」（宮田氏）
プロジェクトは2021年6月にスタートし、ディスカッションやブレインストーミングをヒントに実験テーマや内容を決めていました。コロナの影響でほとんどの活動をオンラインだけで進めることになり難しいことも多かったけれども、発信、反応を強く意識しながら、幅広くアイデアを出し続けることで何とかプロジェクトを進めたと宮田氏はコメントしています。
「大広がコンセプトワークのリーダーではあったものの、それ以外の役割分担は特に決めておらず、ディスカッションの内容に応じて、それぞれの企業がイニシアチブをとって進行するという有機的な関係性でプロジェクトを進めていくことが出来ました。CGLLメンバー企業（特に「Re;Sense」メンバー）は、それぞれの専門領域で先頭に立つ企業が多いからこそ、全員がリーダーシップをもってプロジェクトを進めていくことができるのではないかと感じました。」（長谷川氏）
＃ 人とロボットが共存する空間で人の感覚はどう変わるか？
ディスカッションやブレインストーミングをするうえで特にCGLLの特徴を活かすことと万博で起こるケースをイメージして考えることを意識したと宮田氏は言います。
「CGLLの特徴や万博を意識することはとても難しく、頭を悩ますことが多かったのですが、今思えば新しい考え方の切り口を見つけることが出来たのではないかと思います。例えば、CGLLが描く未来では、ロボットと人の間でインタラクティブなコミュニケーションがおこる可能性があるから、今後は建物に固定されたスピーカーから空間全体に対して音声を発信するだけではなく、必要な情報を必要な人にだけに届ける場面が多くなるのではないか。その他に、万博会場では地図案内板などのインフォメーション情報を移動式のコミュニケーションロボットが人に伝えることになる可能性があるから、地図が読める大人だけでなく、地図や文字が読めない子供にも情報を提供する場面が出てくるのではないか。そういった場合、ロボットから背丈の異なる人に音声で情報を伝達することになるので、ロボットの瞳や音が向いている方向や影響範囲が重要になるのではないか。こういったユースケースについて熱く議論したことを鮮明に覚えています。」（宮田氏）
そのような議論を通して、複数人がいる中で特定の人だけに音や情報を伝達するためにTOAの指向性スピーカーを実験の検討が始まったり、コミュニケーションと瞳の関係に着目した研究者として知られている関西大学の瀬島吉裕准教授に新たなメンバーとして協力してもらうことになったりとプロジェクトが大きく前に進んだ実感があったと長谷川氏はコメントしています。
※瀬島吉裕准教授は、関西大学 総合情報学部で「コミュニケーションに果たす視線や瞳孔の役割を明らかにし、愛されるロボットを創成する」というテーマを掲げ研究されている。
# デジタルツインの活用とスピード感ある実験ができる場の重要性
プロジェクトでは、チーム組成から約1年後の2022年6月ごろに大学とCGLLで実験を行いました。内容としては、空間に複数の人が存在する状況において特定の人に呼びかけを行い、対象とする人が自分に呼びかけられていると感じるかどうか、特にロボットの瞳と指向性スピーカーにより呼びかけの方向性を強く持たせることの効果を検証しました。
「結果としては予想通りで、指向性の音やロボットの視線が向けられた被験者はその他の被験者に比べ自分に向けて呼びかけられていると意識されやすいことがわかりました。今後はロボットと人のコミュニケーション方法がより大事になると予想されるので、実際に実験して仮説検証が出来てよかったなと思いました。今後はどんな音がどの方向・位置から感じられるのか、などもっと調べることで、新しい感覚を生み出すアイデアが出てくるかもしれないと期待しています。
特にCGLLはカメラやレーザーセンサなどの機器が実装されている実験場なので、新たにセンサ設置を行うことなく、高度なセンシングを伴う実験を実施することができるのは魅力だと感じました。」（宮田氏）
今後の実験の可能性についてそれぞれ次のように語っています。
「今回の実験では、コミュニケーションに特化したロボット（Kebbi）を使ったため、瞳やその動きはアニメチックでリアルさはそこまで重要視していなかったように思います。なので、次はよりリアルな眼球の動きをするロボットを使うことで実験結果に変化が出るのか確かめてみるのも面白いと思いました。」（長谷川氏）
「シリコンスタジオのデジタルツインやゲーム開発技術を使って、現実空間上で実証実験を行う前に、仮想空間上で試験的な実証実験とその効果の検証を行う。そうすることで設計や開発までの手間やリスクを最小限に抑えて技術を実社会に実装できるのではないかなど、ディスカッション段階では検討していました。さらに近い将来CGPFが進化するとデジタル上で人間の位置がリアルタイムで把握できると思うので、心拍数などの生体情報もプラットフォームに集ってくるのではないかと予想しています。そういった生体情報は、コミュニケーションに革新的な影響を与えることになると考えられ、活用方法の検討を始めていきたいと思っています。」（宮田氏）
# プロジェクトを振り返って
最後に宮田氏は、「Re;Sense」を次のように振り返っています。
「今回のプロジェクトを通じて五感（特に音）の可能性はまだまだ広がっていくことを実感しました。ただ、どれだけ可能性があったとしても、先の見えない未来をつくっていくには、ちいさくすばやく実験・実装をしていくことが必要だと日ごろから思っています。そういった点で、未来を見据えて環境が整えられつつあるCGLLでは、一歩先の技術開発を行いやすいように感じました。さらには、今の時期だからこそ万博という夢のある舞台に向かってみんなでユースケースを考えるとても大事な経験になりました。」（宮田氏）