222：音からインターフェイスにおけるデジタルオブジェクトについて考えてみたメモ📝_修正版
William W. Gaverが1989年にAppleで開発したThe SonicFinderではメタファーを多用した音の表現がなされていた．それは，上の画像にもあるように，箱型の中身がスカスカのパソコンから想起させる「空間」を，現実とデジタル世界とを繋ぐ「デスクトップメタファー」による表象が満たしていたからだと考えられる．その後，コンピュータはどんどんと薄くなっていき，スマートフォンという一枚の薄い板になっていった．そして，スマートフォン以後のインターフェイスデザインでは，情報をメタファーで捉えるのではなく，ディスプレイのサーフェイスに表示されるフラットなイメージとして捉えるようになっている．フラットなイメージに挙動＝マテリアルデザイン，振動・聴覚との組み合わせたハプティックエンジンとが組み合わされて，ディスプレイ上の表象に「質量」が付与され，もっとその存在をダイレクトに感じられる「オブジェクト」になってきていると考えられる．
この変化は，コンピュータに対するユーザのメンタルモデルが変わってきていることが影響している．「机の上」といったユーザの意識に立ち現れる現象空間を経由することなく，ディスプレイに表示されている表象を「デジタルオブジェクト」としてダイレクトに扱うようになった．デスクトップメタファーからフラットデザインへというデザインの変化は，コンピュータに対するユーザのメンタルモデルが空間ではなく平面になったことを示していると言える．
デスクトップメタファーとともに一般化していった初期のコンピュータの多くは箱型で，内部からカリカリとしたハードディスクの音が聞こえたり，ブラウン管から微かな機械音が聞こえていた．これらの音は文字通りにコンピュータ内部の空間に置かれたデバイスの状態を示すと同時に，コンピュータがつくる「空間」を比喩的に示していたと考えられる．その一例として，コンピュータを介してタスクやコミュニケーションが行われる場が「サイバースペース」と呼ばれていたことが挙げられる．しかし，ハードディスクがSSDになるなど可動部品が少なくなったり，部品が密に配置されたりして，コンピュータ内部からの音はなくなっていった．特に，スマートフォンは冷却ファンを搭載しないため，無音のデバイスとなった．
ユーザのメンタルモデルの平面化とコンピュータ内部の無音化によって，コンピュータの音がヒトに伝えるものは，文字通りの内部を含めた比喩的な空間性ではなくなり，ヒトとデジタルオブジェクトとの接触へと変化したのではないだろうか．内部もなく，空間もなくなったスマートフォンのタッチパネルという平面でヒトの指とデジタルオブジェクトとが接触していく様子を音は示すようになった．そして，音と触覚というともに振動を感じる感覚が「ハプティック」という言葉でがうまく組み合わされるようになったのではないだろうか．
ヒトとコンピュータとの密な結合をもたらしたデバイスであるスマートフォン内部の静音化は，ヒトの意識に内部＝空間を想起させないコンピューティングを立ち上げた．その結果，スマートフォンは「厚みのないピクセル」を表示する一枚のサーフェイスとして捉えられ，ディスプレイから空間を追い出して，フラットデザインが採用された．その結果，物理空間のメタファーとしての表象や音がインターフェイスから半ば追放された．そして，追い出されたメタファーが担っていたリアリティを補完するかのように，部品を隙間なく詰め込んだ内部が可能にする精巧な振動のコントロールがつくる振動と音とを組み合わせたハプティックが，ディスプレイに表示されているデジタルオブジェクに触れているという感覚のパターンを形成するようになった．
スマートフォンという密に配置された物質的マテリアルと「厚みのないピクセル」による表現＝映像という非物質的マテリアルとが相互に影響を与えながら，コンピュータの在り方を変えていくと同時に，ヒトの意識に立ち現れるコンピュータに対する予測モデルも変更していく．さらに，そこにハプティックという触覚と聴覚との組み合わせのパターンが加わってきている．それは，インターフェイスを視聴覚のみを対象として扱うのではなく，視覚というスナップショット的な「面」の感覚と前後関係が連続している「波」に基づく「振動的知覚＝聴覚＋触覚」との組み合わせとして考えることにつながっていく．そこで生まれるあたらしいインタラクションのパターンとともに，デジタルオブジェクトの存在が確かめられるようになる．
デジタルオブジェクトは，以前，私が「波自体というマテリアル」と呼んだものである．そして，デジタルオブジェクトは，視覚とハプティックの組み合わせによって，「波自体というマテリアル」が含んでいた表象をインタラクションから押し出し，その存在をさらにダイレクトに確かめたものと言えるだろう．
デジタルとフィジカルという異なる二つの世界のインターフェイスが「面」として存在するのではなく，「行為」と「表象」とが互いの領域に入り込み，一つの「波」を形成する．デジタルとフィジカル，デジタルとアナログは互いの領域を押し広げたり，縮小したりしていて，波のように連続するマテリアルをつくる．それは波の表面という「行為」と「表象」とを分けるインターフェイスでありながら，「行為」と「表象」という互いの領域を統合した「流動的」で「物質以上に物質的な何か」としての「波自体というマテリアル」でもある．
視覚というスナップショット的にひとつのサーフェイスで展開されるピクセルの配列と聴覚と触覚という二つの感覚を刺激する波の組み合わせから生じるハプティックな配列とが組み合わされることで，デジタルオブジェクトに対して，これまでにない感覚の配列が生じるとともにあらたなインタラクションのパターンが生じる．そして，あらたなインタラクションのパターンが，デジタルオブジェクトに強いリアリティを与えて，それが幻影ではなく実在していることをヒトに強く感じさせるのである．
この記事が気に入ったらサポートをしてみませんか？