【対話形式】クロスモーダルについて

クロスモーダルって

A：今日話したいことっていうのが、クロスモーダルって何だと思う。

B：何それ。

A：僕にもちゃんと分かってないこともあるんだけど、クロスモーダルって相互感覚の作用で、人間の五感それぞれの感覚を区別して感じるのではなく、複数の感覚がお互い影響しあっていて、脳の中で補完して認知・解釈することらしいよ。

B：へぇ、よく街中で美味しそうな匂いがした時に、その食べ物の味とか思い浮かべたり出来るような感じ？

A：そうだね。他にも、ものづくりやサービスのデザインでも、得られる感覚や体験そのものを自由に設計するためのヒントとして使われてるらしいよ。

B：じゃあ、なんかそういう設計された例とかってあんの？

ビールのおいしさを増幅する⾳楽

A：例えば、研究なんだけど、クロスモーダル知覚を活⽤して、ビールのおいしさを増幅する⾳楽を開発したやつとか。

B：ちょっと面白そう。

A：おいしさって、食べたり飲むときに感じる複数の感覚の組み合わせだったりするけど、そこから重要な味覚以外の情報で、よりおいしさを感じることが出来るかの実験なんだよね。特に今回は、聴覚に注目して音楽を作った例みたい。

B：具体的にはどういう音楽なの？

A：飲む前に聞いて期待感を高めるイントロから始まって、「クリーミー感を増幅する音楽とか炭酸感を強める音楽、のどごし感を増幅する音楽とか一連の楽曲を通しで聞きながらビールを味わうことで、普段とは違うおいしさを感じれたみたい。

B：よし、ビール買ってくるか。聞いてみよ

A：これが、音楽ね。

B：意外とビールの音だけではなく、他のサウンドも入ってたりするんだね。これって、最近の動きあったりするの？

A：最近は、第二弾としてビールのおいしさを増幅させる音楽を映像化して、泡の大きさや動きをテクスチャーとして強調されてるらしいよ。

B：めちゃめちゃ黄金色の泡だね。これだけでビールだって分かるのもクロスモーダルなのかもね。

共感覚とか多感覚統合との違い

A：特にこの実験は、感覚間協応の特性を活用した視聴覚体験ってあるんだけど、近い言葉として、共感覚とか多感覚統合があってちょっと意味が分かりづらいよね。

B：共感覚は聞いたことある。

A：共感覚は、ある感覚や認知的処理を引き起こすような情報(刺激)によって、普段の感覚や認知処理に加えて、他の感覚や認知処理も喚起される現象だね。

B：これは、クロスモーダルと何が違うの？

A：あくまでも人の感覚に依存するから、共感覚を持ってる人に限る話かもね。でも、その種類もいくつかあって、一つ一つの文字に特定の色を感じる色字共感覚や数字が特定の空間に配置されているように感じる数型共感覚、他人が触れているのを見て、自分が触れているのと同じ触覚が生じるミラータッチ共感覚などあって、条件も曖昧であったりするみたいだね。

B：さっき言ってた多感覚統合はどうなの？

A：異なる感覚に入力された刺激を1つの事象として知覚・認識する処理ってあるんだけど、感覚間協応とは区別されるね。

B：でも、感覚間協応と多感覚統合の違いってイマイチピンと来ないなあ

A：主に、3つあるかなと思っていて、1つ目が、刺激の感覚モダリティの数だね。感覚間協応は、複数の感覚モダリティに刺激が入力されるとは限らない一方で、多感覚統合は、必ず複数の感覚モダリティに刺激が入力される必要がある。
2つ目は、刺激の時空間的な一致性の有無かな。感覚間協応は、時空間的な一致性を問わないけれど、多感覚統合は、時空間的な一致性に基づく必要がある。言い換えれば、ひとまとまりの事象として知覚・処理されやすいってことかな。
そして、3つ目が、一体性の仮定の有無だね。感覚間協応は、一体性の仮定が働かず，あくまでも独立のものとして扱われるんだけど、多感覚統合は、一体性の仮定が働き、複数の感覚モダリティに入力された情報が共通の事象に由来すると仮定されるみたい。

B：まとめると2つにはどんな違いがあるの？

A：感覚間協応は、共起頻度や意味概念的な共通性など、生活環境内に存在するなんらかの規則性に基づいて，関連のありそうな情報同士をまとめてる感じで、一方、多感覚統合は、1つの情報源から発生された情報が異なる感覚器官に入力され，感覚モダリティごとに分けられたものを、再び一つにまとめる感じかな。

B：そうなんだ、色々教えてくれてありがとね。

“共感覚と感覚間協応と多感覚統合の違い｜マサキ㌠.” note, 19 January 2021, https://note.com/masaki_ponpoko/n/n831e29d000ab. Accessed 11 October 2023.

“博報堂、クロスモーダル知覚（五感の相互作用）を活用した 映像による行動変容を検証する実証実験を開始 ～東京大学鳴海准教授と共同で～ 実験第2弾「ビールのおいしさを増幅させる音楽」の映像化 ｜ニュースリリース｜博報堂 HAKUHODO Inc.” 博報堂, 4 October 2022, https://www.hakuhodo.co.jp/news/newsrelease/100136/. Accessed 11 October 2023.

“「クロスモーダル」| 広告朝日｜朝日新聞社メディア事業本部.” 広告朝日, 9 September 2022, https://adv.asahi.com/marketing/keyword/14703998. Accessed 11 October 2023.