175：同一の情報源としての紙のページから生成された別の「認識」を改めて認識している

ルーカル・ブレイロックの《Making Memeries》の体験を記述，考察してみたい．《Making Memeries》は写真集であり，厚紙に印刷された写真をスマートフォンやタブレットのアプリで見ると，奥行き，動きや音が追加されるAR作品でもある．

《Making Memeries》はARなしでも「写真集」としてページをめくることができる．ARマーカーのみが紙に印刷されているのではなく，ブレイロックが加工した特徴的な写真が紙に印刷されている．厚いボール紙でできた写真集は，平たく広げることができる．見開きページの平面をスマートフォンのカメラでスキャンして，ディスプレイというもう一つの平面に表示させる．《Making Memeries》には，二つの平面が存在する．印刷されて変化することがない紙の平面とピクセルで構成されて変化し続けるディスプレイの平面である．

紙のページにカメラを向けると写真はそのままのかたちで捉えられ，ディスプレイに表示される．だが，瞬時にアプリは状況を「認識」し，紙のページに印刷された写真からスキャンされたイメージの上に，ARとしてのイメージを被せる．となると，《Making Memeries》には3つの平面が存在することになるだろうか．紙のページに印刷された写真面と写真面をカメラでスキャンしたイメージ面とその上に被されるAR面という3つである．しかし，「写真面をカメラでスキャンしたイメージ面とその上に被されるAR面」は，ディスプレイという一つの平面を構成するピクセルの明滅を制御して出来上がっているので，二つの平面と言えるのか検討しないといけない．ピクセルには重なりがないとすれば，この二つの平面はピクセルの集積がつくる一つの平面で構成された擬似的な重なりとなるので，そこには一つの平面しかないと考えた方がいいだろうか．

紙の平面とディスプレイの平面という二つの物理的な平面があるとすればいいだろう．そして，ディスプレイのピクセルは実際は重なりなく表示しているのだが，カメラで捉えた紙の平面とARとして表示する平面とが重なっているように見せるように表示している．カメラは紙に印刷された写真をスキャンして，特徴量を検出して，写真を「認識」し，ディスプレイにARとしての画像を表示する．一度特徴量を捉えた後は，カメラを動かしても，アプリは印刷された写真とカメラとの位置関係を常に更新し続けて，適正なARイメージを表示し続けていく．このとき，私たちの眼とその後の意識のプロセスとスマートフォンのカメラのその後の情報処理からは異なるものになっている．当たり前だが，ヒトが《Making Memeries》の写真をいくら見ても，ARとしてスマートフォンのディスプレイに表示されるイメージは見えてこない．スマートフォンのカメラが捉えて，その後の演算処理によって，ARのイメージはディスプレイに表示される．このときはじめて，ヒトはARのイメージを見ることになる．カメラが捉えた平面とその平面を「認識」して生成された平面とがあり，その二つの面がピクセルが構成する一つの平面に統合されている．ヒトを模したカメラの認識と計算によるARの認識という異なる二つの認識とが一つの平面に統合されて表示されている．

だが，ヒトの眼とスマートフォンのカメラとで見ているのは紙に印刷された同一のブレイロックの写真である．ブレイロックの写真は「情報源」として存在し，ヒトはヒトのコードにしたがって，スマートフォンはアプリのコードにしたがって，同一の「情報源」からの別々のメッセージを受け取っている．ヒトは二次元の写真から三次元の空間を立ち上げようとし，スマートフォンは二次元の写真の色の情報から特徴量を算出して，ディスプレイの表示する情報を計算していく．

《Making Memeries》をスマートフォン片手に見るとき，ヒトは二次元の写真から三次元の空間を立ち上げようとしつつ，ディスプレイに映るARを同時に見ていることになる．しかし，実際には「同時に」は見ていないだろう．大体はディスプレイに映るARイメージを見ている．紙のページに印刷された写真はそこにあるけれど，スマートフォンで認識すべきオブジェクトとなり，意識の周辺に押しやられる．その状態で，ディスプレイに表示されたARのイメージを楽しむ．けれど，やはり，周辺に押しやられたとはいえ，紙とディスプレイという二つの平面を同時に見ているのだろう．手前のディスプレイに意識をフォーカスしておきながら，奥の紙を周辺視で見ている．同時に見ていなければ，ディスプレイのARイメージは単にピクセルの集合でできた一つの画像でしかない．同時に見ているからこそ，このピクセルの集合がヒトを模したカメラの認識と計算によるARの認識とがズレながらも重ね合わされているという特異な現象になるのだろう．ヒトとスマートフォンとが同じ情報源としてのページの写真を「認識」しながら，スマートフォンのディスプレイには認識の末の計算結果がARイメージとして表示される．ヒトは同一の情報源としての紙のページから生成された別の「認識」を改めて認識していることになるだろう．

ブレイロックが《Making Memeries》で，スマートフォンのディスプレイに表示するARイメージは二次元である写真を三次元化するものがいくつかある．たとえば，上の写真を見てみると，三次元空間に置かれたブロックを撮影したものであることがわかる．しかし，このブロックはさまざまな角度で撮影されたのち，Photoshopで切り抜かれていることにも気づく．そのとき，このブロックはピクセルの集合という二次元のイメージとして切り抜かれて，二次元のイメージとして「写真」にペーストされて，ピクセルの集合のなかに位置を与えられている．しかし，ヒトは二次元のイメージとしてペーストされたブロックを見ると三次元のオブジェクトとして認識する．また，手前の茶色の「柱」のようなものは，ベタっとしたテクスチャや影のなさから，ピクセルを「茶色」で塗りつぶしたものであろう．この「茶色い柱」のようなものは，おそらく多くのヒトが「茶色いライン」という二次元のイメージとして認識するだろう．

このような三次元のオブジェクトを存在させつつ，二次元を強調する「柱」がある写真を，スマートフォンのカメラでスキャンすると，ディスプレイには三次元的なARイメージが表示される．

茶色い「柱」のようなものには厚みがあり，影もあり，手で掴めるような存在感を示している．「柱」の両端は床面から立ち上がった面に接している．ツールボックスのようなものが出来上がって，そこに4つのブロックが入っているようなARイメージがスマートフォンのディスプレイに表示されている．ブロックの穴からは音符が出てきて，その音符は《Making Memeries》そのものから離れて，ディスプレイに表示されている私の机の上の空間にまで展開されていく．

二次元のページの写真から三次元のARイメージが立ち上がったように書いてきたけれど，これらはスマートフォンのディスプレイという平面に表示されている．でXYの位置情報を持つピクセルがRGBの色情報を計算に基づき表示しているものを，私は三次元的表現として認識している．始まりは《Making Memeries》の二次元の写真の認識であり，そこから私＝ヒトはどうしても三次元的な現象を立ち上げてしまい，スマートフォンはブレイロックが仕込んだ三次元的な現象を強調するようなARイメージを立ち上げ，それを改めて認識した私はディスプレイが示す二次元情報から改めて三次元の現象をさらに強く認識するようになっている．三次元の現象としての認識が強くなるのは，スマートフォンを動かすと，それに応じて，ディスプレイのARイメージも変化するからである，私は三次元空間でスマートフォンを動かし，スマートフォンは私の動きとページとの位置関係を常に計算しながら，その計算結果をディスプレイに二次元情報として示している．私はこの二次元情報を二次元情報として認識しながらも，そこに三次元オブジェクトがあるような認識を立ち上げてしまう．しかも，写真から三次元オブジェクトを認識していくよりも，より強く認識してしまうのである．