フラットネスをかき混ぜる🌪（3）次元が膨張収縮する現象的フラットネスをつくるAR体験📖🔁📱 文：水野勝仁

連載一覧
（1）二次元平面でも三次元空間でもないフラットネス🚥
（2）二次元平面と三次元空間とが現象として立ち上がらないパターンを示す「写真」🌫

ヒトは写真という三次元空間を二次元イメージとして捉えられる特殊なフラットネスを生み出した。ヒトは三次元空間に存在しているので、紙に焼き付けられた特殊なフラットネスを見ても、意識プロセスで立ち現れる現象的フラットネスにおいて、即座に三次元空間が立ち上がるようになっている。対して、ルーカス・ブレイロックは「写真は、すべてそれらのフラットネスのために、純粋に混成の空間を示唆する：それは二次元と三次元、表面平面とそのなかの空間」 (*1) と考えている。彼はPhotoshopでフラットネスの情報を構成する最小単位であるピクセルを操作して、現象的フラットネスで否応なく立ち上がってしまう三次元空間の立ち上がりを阻害するような写真作品を作成している。ブレイロックをはじめとして、Photoshopなどのソフトウェアでピクセル単位で画像に操作を加える写真家たちは、ピクセルという幾何学的情報を持たず、二次元でも三次元でもない要素の集積した情報源として形成される存在するフラットネスにアクセスして、ヒトの意識に立ち上がる現象的フラットネスにおける三次元空間を制御しようと試みている。ここまでが前回までの考察である。

ヒトとスマートフォンとが示す異なる二つの現象的フラットネス

今回は、ブレイロックが《Making Memeries》と言う作品集において、ARという写真とは別の仕方でフラットネスを利用している点を考えていきたい。《Making Memeries》 (*2) は写真集であり、厚紙に印刷された写真をスマートフォンやタブレットのアプリで見ると、奥行き、動きや音が追加されるAR作品でもある。ブレイロックは《Making Memeries》で、ヒトの現象的フラットネスに三次元空間を立ち上げないような情報源＝フラットネスをつくる写真作品と対になるようなAR作品を作成しているように思われる。ARはもともとスマートフォンやタブレットのアプリに「認識」させて、ディスプレイ内に物理空間と連動した三次元空間を立ち上げる試みではあるが、ブレイロックという写真を二次元と三次元とが入り混じった「フラットネス」として考える写真家の試みから、ヒトとスマートフォンとが示す異なる二つの現象的フラットネスという観点からARを考えてみるのが今回の考察のねらいである。

《Making Memeries》は、厚いボール紙でできた平たく広げることができる写真集として見ることができるけれど、見開きページに印刷されたブレイロックによる特徴的な写真平面をスマートフォンのカメラでスキャンして、ディスプレイというもう一つの平面に表示させると、そこにARのイメージが表示される。ARが表示されるプロセスは、紙のページにカメラを向けると写真はそのままのかたちで捉えられ、ディスプレイに表示される。だが、瞬時にアプリは状況を「認識」し、紙のページに印刷された写真からスキャンされたイメージの上に、ARとしてのイメージを被せる。このとき、《Making Memeries》には紙のページに印刷された写真面と写真面をカメラでスキャンしたイメージ面とその上に被されるAR面という三つがある。この状況を、情報源としてのフラットネス、物質的フラットネス、現象的フラットネスで考えてみたい。まず、《Making Memeries》には、印刷されて変化することがない紙とピクセルで構成されて変化し続けるディスプレイという二つの物質的フラットネスが存在する。「写真面をカメラでスキャンしたイメージ面とその上に被されるAR面」は、ピクセルを情報源とするフラットネスをディスプレイという物質的フラットネスで具現化して出来上がっている。このとき、紙のページはスキャンされる物質的フラットネスであり、ディスプレイに情報を送る情報源としても存在していることになる。考えてみれば、紙もディスプレイもヒトにも情報を送っているので、物質的フラットネスは常に情報が具現化したフラットネスでもある。このように考えると、《Making Memeries》におけるARは、情報のフラットネスを別々のかたちで具現化した紙とディスプレイという二つの物質的フラットネスの重なりとして考えればいいということになる。

次に、ディスプレイに表示されているものを改めて考えてみたい。カメラは紙に印刷された写真を情報源としてスキャンし、特徴量を検出して、写真を「認識」し、ディスプレイにARとしての画像を表示する。一度特徴量を捉えた後は、カメラを動かしても、アプリは印刷された写真とカメラとの位置関係を常に更新し、適正なARイメージをディスプレイに表示し続けていく。 (*3) このとき、私たちの眼とその後の意識のプロセスとスマートフォンのカメラとその後の情報処理は異なるものになっている。当たり前だが、ヒトが《Making Memeries》の写真をいくら見ても、ARとしてスマートフォンのディスプレイに表示されるイメージは見えてこない。スマートフォンのカメラがページの写真を捉え、その後の演算処理によって、ARのイメージはディスプレイに表示される。このときはじめて、ヒトはARのイメージを見ることになる。ここでは、一つの情報源からヒトとコンピュータとで二つの異なる現象的フラットネスが立ち上がっていると言える。一つは、写真を見たヒトの意識に立ち現れる二次元と三次元とが拮抗するようにブレイロックに操作された現象的フラットネスであり、もう一つは、スマートフォンのカメラが捉えた平面とその平面の特徴量を「認識」して生成されたARイメージとが統合された現象的フラットネスである。このとき、スマートフォンのディスプレイは、情報を具現化するための物質的フラットネスであり、情報を認識して処理した結果が現れる現象的フラットネスにもなっている。

ヒトとスマートフォンとで異なる現象的フラットネスが立ち上がっているけれど、ヒトの眼とスマートフォンのカメラとで見ているのは紙に印刷された同一のブレイロックの写真である。ブレイロックの写真は情報源として存在し、ヒトはヒトのコードにしたがって、スマートフォンはアプリのコードにしたがって、同一の情報源からの別々のメッセージを受け取っている。この状況は、マノヴィッチが「セマンティックギャップ」と書くものであろう。

認知的自動化の目標は、セマンティックギャップによって困難になっている。コンピュータ科学のこの用語は、人間があるデータから抽出できる情報と、コンピュータが同じデータをどのように見ているかの違いを指す。例えば、人間の読み手は文章のアイデアや文体、ジャンルを理解しているけれど、コンピュータはスペースで区切られた文字の羅列を「見る」ことしかできない。ヒトはデジタル写真の人物を見れば、すぐに顔を判別したり、人物を背景から切り離したり、人物が何を着ているかを理解したり、顔の表情を解釈したりすることができる。しかし、コンピュータには、画像を構成する数字しか見えない。 (*4)

ヒトは二次元の写真に具現化されたフラットネスから情報を受け取ると、即座に現れる現象的フラットネスにおいて三次元の空間が自動的に形成されていく。ブレイロックの作品では、次元の自動的な形成を阻害するような情報がヒトに与えられている。対して、スマートフォンは二次元の写真の色を数字として「見」て、そこから特徴量を算出して写真を「認識」し、ディスプレイに表示する情報を計算し、現象的フラットネスとして表示する。このプロセスは《Making Memeries》も他のARと同じである。《Making Memeries》を体験するヒトは紙とディスプレイという異なる物質的フラットネスを見ながら、同一のフラットネスが示す情報から立ち現れる異なる二つの現象的フラットネスを認識することになる。ブレイロックは、スマートフォンが立ち上げたヒトとは別のかたちの現象的フラットネスをディスプレイという物質的フラットネスを通して見て、自らの現象的フラットネスを立ち上げるというARの特殊な体験においても、写真作品と同様に二次元と三次元とを拮抗させる仕掛けを施していると考えられる。

「知覚のインターフェイス理論（ITP）」からブレイロックの写真とARを考える

認知心理学者のドナルド・ホフマンが提唱する「知覚のインターフェイス理論（ITP）」を参照して、ヒトの現象的フラットネスをハックし二次元と三次元とを拮抗させるブレイロックの写真とARを考えていきたい。ITPとは「各知覚系はラップトップパソコンのデスクトップ画面のように、一つのユーザーインターフェイスをなす」 (*5) というものである。ホフマンが「インターフェイス」という言葉で示すのは以下のことである。

デスクトップインターフェイス［この例ではデスクトップ画面を指す］の目的は、利用者にコンピューターの「真実」を開示することにあるのではない。ちなみに、このたとえでの「真実」とは、電子回路や電圧や一連のソフトウェアを指す。むしろインターフェイスの目的は、「真実」を隠して、Eメールを書く、画像を編集するなどといった有用な作業がしやすくなるよう、単純な図像を提示することにある。Eメールを書くために自分で電圧を調整しなければならなかったら、あなたが書いたEメールが友人のもとに届くことは決してないだろう。 (*6)

インターフェイスは「真実」を隠し、作業をしやすい状況としてアイコンを提示してくれる。アイコン主体のグラフィカル・ユーザ・インターフェイス（GUI）だけでなく、テキスト・ユーザ・インターフェイス（TUI）であっても、コンピュータを動かしている「電子回路や電圧」で何が起こっているのかはわからないけれど、コンピュータを自在に使うことができる。インターフェイスはコンピュータが処理する情報を、ヒトが使いやすいかたちでディスプレイに表示してくれているだけであって、コンピュータそのもので実際に何が起きているのかを教えてくれるものではない。そして、ホフマンはITPにおいて、コンピュータのインターフェイスデザインが行っていることをヒトの認識全体に拡張していく。そして、時空やモノそのもの自体がインターフェイスであるという主張する。

空間や時間はそれ自体、私たちの持つインターフェイスの単なるフォーマットであり、また物体は、適応度利得の獲得という課題の遂行にあたり、さまざまな選択肢に注意を向ける際に私たちがその場で作り出したアイコンにすぎない。つまり物体は、私たちの感覚に自らを押しつけてくる既存の実体ではなく、利用可能な多数の利得から、競争相手より多くのポイントを稼がなければならないという課題に対する解決手段なのである。 (*7)

時空やモノが実在するのではなく、単なるインターフェイスのフォーマットであるという主張は、私たちの直観とは大きく異なる。しかし、GUIとTUIという異なるインターフェイスのフォーマットによってコンピュータの操作方法も作業の印象も大きく異なるものになるにもかかわらず、同一の処理ができるということから、ITPを考えると理解しやすいだろう。コンピュータで起こっている処理がアイコンとして表示されるのか、それとも文字列として表示されるのかによって、コンピュータの使い勝手は大きく変わってくる。しかも、それはユーザの好みによるところもあり、どちらがいいとは一概に決めることはできない。ただし、現在のコンピュータの主流がGUIであることは、文字列よりもグラフィックの方が多くのポイントを稼いだということである。

ブレイロックの写真を考察して、写真・画像をフラットネスという情報源として捉えているこの連載においては、ホフマンのITPはとても有益な示唆を与えてくれる。写真や画像は実在するモノではなく、それらは情報源として存在している。それらはモノではなく情報でしかないから、それらを認識するヒトやスマートフォンという別々の認識フォーマットによって別々のアイコンが立ち上がる。ここで個別に立ち上がるアイコンは、この連載においては物質的フラットネスと現象的フラットネスとが合わさった存在だと考えられるだろう。ヒトやスマートフォンは存在し続けるために、情報のフラットネスからより有利な利得を得るようにアイコン＝物質的フラットネス＋現象的フラットネスを立ち上げていると言えるだろう。

ITPでさらに興味深いのが、ホフマンがITPを理論物理学の「ホログラフィック原理」と合致する理論だと考えていることである。「ホログラフィック原理」とは、物理学者のレオナルド・サスキンドとヘーラルト・トホーフによって開拓された原理で、私たちが通常経験している三次元の世界が「ホログラム、言い換えると遠隔の二次元表面にコード化された実在のイメージ」 (*8) だとするものである。

私たちの誰もが、空間や時間に関して強い確信を抱いている。私の確信は、ホログラフィック原理によって揺るがされた。だがすぐに、その結果は、私たちが知覚している時空が、［コンピューター利用者のあいだの］インターフェイスをなすデスクトップ画面のようなものであると主張するITPとうまく合致することを悟った。コンピューターのデスクトップ画面を虫メガネで拡大して見れば、無数のピクセルが見える。この場合のピクセルとはデスクトップ画面の最小限の区画を指し、それより小さな単位ではデスクトップ画面は存在しない。一歩下がって見ると、デスクトップ画面は連続する表面であるように見える。コンピューター上で「ドゥーム」や「アンチャーテッド」のようなビデオゲームをプレイすると、立体的なオブジェクトに満ちた迫真の三次元世界を目にする。だがそこに提示されている情報は、画面上のピクセルの数によって制限された、完全に二次元の情報なのだ。同じことは、コンピューターから目を離して周囲の世界を見るときにも当てはまる。私たちの周囲の世界もピクセルから成り、あらゆる情報が二次元なのである。 (*9)

ホフマンはホログラフィック原理のサポートを得て、ITPでモノではなく情報からヒトの認識を考える大きな転換を行っている。ピクセルが示す情報が「立体的なオブジェクトに満ちた迫真の三次元世界」を形成するにしても、それはあくまでも二次元のピクセルによる情報なのである。情報が二次元になり、三次元になっていく。この考え方は、この連載でブレイロックの写真をピクセルから考察してきた考えと合致する。私としては、Photoshopとディスプレイとでピクセルにアクセスし、操作していくブレイロックの写真が、ホフマンのITP理論、さらにはホログラフィック原理にまでつなげられることがとても興味深い。もともと写真という特殊なフラットネスは、三次元空間を二次元平面に自動的に変換する装置として、ホログラフィック原理とは逆ではあるが三次元空間の情報を二次元平面に置き換えるということを物質の化学反応のレベルで行っていたと言えるかもしれない。さらに、ホログラフィック原理は二次元平面に記録した光の干渉縞から三次元の像を再生する「ホログラム」から命名されていることを考えると、写真とホログラフィック原理とはどこかで繋がっていると言えるだろう。特に、写真が光による物資の化学的変化に基づく表現から、コンピュータによる情報操作に基づいたピクセルの表現へと変化した現在では、ホログラフィック原理の二次元における情報から三次元が立ち上がるという主張から写真を考えることは有益であり、特に、写真を情報源としてのフラットネスと捉える本連載の主張を強くサポートしてくれるものだと、私は考えている。さらに、ホフマンがホログラフィック原理と合致しているとするITPは、写真のフラットネスをヒトの意識に現れる現象的フラットネスにおける次元の増減の考察について有益な示唆を与えてくれるだろう。

そこで次に、ホフマンのITPの錯覚についての指摘から、ブレイロックの写真のフラットネスを受けて、現象的フラットネスに現れる二次元と三次元との拮抗を考えてみたい。

しかし、ITPはそれとはまったく異なり、視覚系が適応度メッセージをいかに解読するのかを教えてくれると考える。客観的な時空や、時空の内部にあらかじめ存在し、真の性質を回復すべき物体などというものはなく、時空や物体は、適応度メッセージを記述するコードシステムにすぎない。ここまで見てきた、二次元の情報を三次元の情報へと膨張させる錯視の例は、実際には実在が三次元ではなく二次元を持つことを示しているのではない。それらの例の目的は、時空それ自体が実在の一側面であると想定している慣習的な見方を弱めることになる。それらの例が二次元を持つのは、白紙の上に印刷されたものであるかにすぎない。 (*10)

要するに、私たちはあらかじめ存在している物体が持つ真の三次元の形を回復するのではない。そもそも、そのような物体は存在しない。そうではなく、コード化言語としてたまたま三次元の形が用いられる適応度メッセージを回復しているのである。 (*11)

ホフマンのITPによる世界認識から考えると、ブレイロックが作成しているのは、ヒトが未だ明確な解読方法を持たない「適応度メッセージを記述するコードシステム」が埋め込まれたフラットネスだと言えるだろう。写真や画像は二次元平面だと考えられるが、それは紙やディスプレイというモノによって提示されているに過ぎない。それは三次元のオブジェクトであるが、二次元の平面だとして認識される。このように次元が増減するのは、もともと物質が存在せずに「適応度メッセージを記述するコードシステム」しかないからである。ホフマンが提示するネッカーの立方体などの錯視は二次元の情報が三次元へと膨張させるのだが、ブレイロックはピクセルの操作によって、二次元から三次元への膨張とともに三次元から二次元の収縮も可能にし、膨張と収縮とが同時に起こるようなフラットネスを記述している。さらに《Making Memeries》では、ヒトに向けたメッセージだけではなく、スマートフォンのアプリに向けたメッセージも埋め込んだコードシステムを記述して、二次元平面と三次元空間とが異なるバランスで膨張収縮する現象的フラットネスをつくっていると考えられる。

《Making Memeries》が示す三次元空間の支配的な地位を揺るがすAR体験

ブレイロックが《Making Memeries》で、スマートフォンのディスプレイに表示するARイメージは二次元である写真を三次元化するものがいくつかある。たとえば、下の写真を見てみると、三次元空間に置かれたブロックを撮影したものであることがわかる。しかし、このブロックはさまざまな角度で撮影されたのち、Photoshopで切り抜かれていることにも気づく。そのとき、このブロックはピクセルの集合という二次元のイメージとして切り抜かれて、二次元のイメージとしてペーストされて、ピクセルの集合のなかに位置を与えられている。しかし、ヒトは二次元のイメージとしてペーストされたブロックを見ると三次元のオブジェクトとして認識する現象的フラットネスを形成してしまう。また、手前の茶色の「柱」のようなものは、ベタっとしたテクスチャや影のなさから、ピクセルを「茶色」で塗りつぶしたものであろう。この「柱」のようなものは、おそらく多くのヒトが「茶色のライン」という二次元のイメージとして認識するだろう。さらにブレイロックによって所々に描かれた黒ラインが二次元平面と三次元空間双方の立ち上がりを拮抗させる役割を担っている。ブレイロックはピクセルという情報源を操作して、二次元と三次元とがぶつかり合う奇妙な現象的フラットネスをヒトの意識に立ち上げるフラットネスをつくっている。

《Making Memeries》のページを撮影

ヒトは写真を見たときに三次元空間をともなう現象的フラットネスをどうしても立ち上げてしまうけれど、ブレイロックが作成した情報のフラットネスが具現化した物質的フラットネスとして二次元に固定された写真は、三次元的な現象的フラットネスから次元を一つ削除するように作用する。紙に印刷された写真を見たヒトの現象的フラットネスで三次元に膨張した表現を立ち上げそうになるが、二つの次元が曖昧な状態になるようにピクセル操作された写真表現を見続けるなかで、現象的フラットネスは三次元に完全に膨張できず、二次元に収縮していく。この次元の膨張と収縮のもとで、ブレイロックの写真はヒトの認識で支配的な三次元空間の役割を揺るがす現象的フラットネスをつくることができるのである。しかし、《Making Memeries》におけるブレイロックは、ヒトの意識に一瞬立ち上がる三次元空間が支配的な現象的フラットネスをスマートフォンに表示させる。《Making Memeries》のARは、ブレイロックの写真を見たときに、ヒトの意識のなかに否応なく立ち上がってしまう三次元空間をともなう現象的フラットネスを動くかたちで提示している。ヒトはスマートフォンが提示する現象的フラットネスを見ているのだが、それは意識プロセスで一瞬立ち上がりはしたが即座に収縮させられた三次元優位の自らの現象的フラットネスでもある。

《Making Memeries》をアプリでスキャンしたARイメージ（1）

実際に、《Making Memeries》のARを見ていきたい。ブロックのような三次元のオブジェクトを存在させつつ、二次元を強調する「柱」がある写真を、スマートフォンのカメラでスキャンすると、ディスプレイには三次元的なARイメージが表示される。茶色い「柱」のようなものには厚みがあり、影もあり、手で掴めるような存在感を示している。「柱」の両端は床面から立ち上がった面に接している。ツールボックスのようなものが出来上がって、そこに4つのブロックが入っているようなARイメージがスマートフォンのディスプレイに表示されている。ブロックの穴からは音符が出てきて、その音符は《Making Memeries》そのものから離れて、ディスプレイに表示されている私の机の上の空間にまで展開されていく。

《Making Memeries》をアプリでスキャンしたARイメージ（2）

二次元のページに印刷された写真から三次元のARイメージが立ち上がったように書いてきたけれど、これらはスマートフォンのディスプレイという物質的フラットネスに表示されている。スマートフォンはブレイロックが仕込んだ三次元的な現象を強調するARイメージを現象的フラットネスとして立ち上げ、それを改めてヒトはディスプレイという二次元の物質的フラットネスを透して二次元のページを見てる状況に置かれている。三次元空間が優位のスマートフォンの現象的フラットネスをディスプレイという二次元平面優位の物質的フラットネスを透して見るという奇妙な状況である。さらに、三次元空間優位の現象的フラットネスが強くなるのは、スマートフォンを動かすと、それに応じて、ディスプレイのARイメージも変化するからである。しかし、ここでも奇妙なねじれが生じている。ヒトは三次元空間でスマートフォンを動かしているけれど、スマートフォンはヒトの動きとページとの位置関係を常に計算し、その結果をディスプレイに二次元情報として示している、というねじれである。さらに、ヒトはこのピクセルによって構成される画像を二次元情報として認識しながらも、そこに三次元空間やオブジェクトがあるような認識を立ち上げてしまう。しかも、写真から三次元オブジェクトを認識していくよりも、より強く認識してしまうのである。それは、紙とディスプレイという二つの物質的フラットネスが三次元空間で連動しているということと、紙に印刷された情報のフラットネスを見たときにヒトの意識において否応なく立ち上がる三次元的に膨張した現象的フラットネスをディスプレイに見るという二つの体験が合わさっているからである。この二つの体験は、ヒトが自らの意識に一度は立ち現れた二次元の情報が膨張して形成された三次元空間を示す現象的フラットネスの具現化をディスプレイという二次元平面を強調する物質的フラットネスを透して見るという体験に統合されていき、AR体験そのものを可能にしている三次元空間よりもページやディスプレイといった二次元平面が示す情報が優位になっていく。ブレイロックの《Making Memeries》は写真集のページとディスプレイという二つの二次元性を強調する物質的フラットネスを連動させたAR体験によって、そのあいだにある物理的な三次元空間やヒトの現象的フラットネスにおける三次元空間の支配的な地位を揺るがしているのである。

＊１ Lucas Blalock, ‘DRAWING MACHINE’, “Foam Magazine #38: Under Construction”, 2014, p. 208.
＊２ Lucas Blalock, "Making Memeries", SPBH EDITIONS, 2016。AR体験は「Making Memeries by Lucas Blalock」https://www.youtube.com/watch?v=ilrMAs6EUnM （最終アクセス 2021年2月16日）で見ることができる。
＊３ 橋本直「子どもに教えたい通信の仕組み　ARの仕組み」、B-plus : 電子情報通信学会通信ソサイエティマガジン、2013年7巻3号 p. 164-165、https://doi.org/10.1587/bplus.7.164（最終アクセス 2021年2月16日）
＊４ Lev Manovich, "Cultural Analytics", MIT Press, 2020, p. 138
＊５ ドナルド・ホフマン『世界はありのままに見ることができない──なぜ進化は私たちを真実から遠ざけたのか』（Kindle版）、青土社、2020年、位置No. 1932/6184。訳語の「インターフェイス」を「インターフェイス」に変更した。以下、7、9の引用でも同様の変更をしている。
＊６ 同上書、位置No. 75/6184
＊７ 同上書、位置No. 2053/6184
＊８ 同上書、位置No. 2678/6184
＊９ 同上書、位置No. 2668/6184
＊１０ 同上書、位置No. 3236/6184
＊１１ 同上書、位置No. 3248/6184

水野 勝仁　1977年生まれ。メディアアートやインターネット上の表現をヒトの認識のアップデートという観点から考察しつつ、同時に「ヒトとコンピュータの共進化」という観点でインターフェイスの研究も行っている。主なテキストに「サーフェイスから透かし見る👓👀🤳」（MASSAGE MAGAZINE）、「インターフェイスを読む 1-5」（ÉKRITS）など。