きわダイアローグ02 渡邊淳司×向井知子 2/4
2. 知覚のかたち、体験のかたち
///
向井：人の知覚の立体性ということに関して、渡邊さんの手がけられた「心臓ピクニック」は、個々の知覚と他者の認識、直観的な理解を結びつけていく体験が、とても上手に組み立てられているなと思いました。今、そこからまた発展させたものを制作されているのでしょうか？
渡邊淳司・川口ゆい・坂倉杏介・安藤英由樹
渡邊：はい。いくつか紹介させてください。「心臓ピクニック」は、聴診器によって計測された鼓動を、手の上の触感として感じるプロジェクトでした。心臓という自分のなかの他者を感じ直すことを狙いとしたものです。そして、それだけでなく、心臓の鼓動を他者と交換する。そうすることによって、生命としての共同性をもとに他者と関わることができます。もちろん、「わたし」と他者は異なる存在ではあるのですが、地球上の生命として同じものであることを、鼓動の触感を通じて実感しつつ関わる。それによって他者との関わり方が変わるのではないかと考えました。先ほどのピクトグラムでいうならば、独立した他者の状態から、もう少し緩やかなつながりのなかにいる他者との関係になるイメージです。
2019年に制作した「公衆触覚伝話」は、オンライン上で会話をする際に、画面の向こうの相手と映像でやり取りするだけでなく、机を触覚的にも共有するというものです。
企画：渡邊淳司（NTTコミュニケーション科学基礎研究所、NTTサービスエボリューション研究所）林阿希子（NTTサービスエボリューション研究所）
制作協力：大脇理智、石川琢也（山口情報芸術センター[YCAM]）、南澤孝太、早川裕彦（慶應義塾大学大学院メディアデザイン研究科）、田中由浩（名古屋工業大学）
遠隔で話している二人の間の机が共有空間になっており、こちらの机を叩けば、相手の机も震えるようになっています。二つの空間のそこだけが重なっている状態ですね。そこで二人が触覚的にやりとりをしているうちに、だんだん言語と言うには言い過ぎですけれども、空間を共有しながら一つの物語を一緒につくり出したり、箱庭的に新しい遊びをし始めたり、といったことが起きたんです。
このコミュニケーションメディアが実現したことの一つとして、普通ではありえない距離まで人と人を近づけたということが挙げられます。例えば、実際に机を挟んで目の前に人がいた場合、40～50センチ前に人がいたとしたら、緊張して話すことができません。ところが、モニターを介した映像であれば、近い距離で机を共有していても普通に会話ができてしまいます。そこには、物理世界での距離感とは異なるリアリティや身体性が存在している気がします。デジタル化によって、相手と手が触れるところまで距離を縮めても、お互い普通にやり取りし、共存し得るような関係性がそこには生まれているということになります。もう一つ、このシステムの特徴として、カメラが顔に対して正面ではなく、やや上のほう（屋根のような部分）にあることが挙げられます。上から顔を写しているため、お互い画面上では目が合わない。そのため、距離は近いのに目が合わないという状況が、ここではずっと起きています。デジタル世界での視線といったことについても考えるきっかけになりました
向井：集中して話をしようとするときは、Zoomで顔を見ながらよりも、意外と電話のほうが、思考しながら話せるのでよかったりしますよね。テクノロジーを介し、目と目を合わせたり、顔を合わせたりしたほうがコミュニケーションができるかというと、そうではない。むしろ、視覚的な情報がないと、耳が深いところの何かに触れる感じがあるので、そちらのほうが喋りやすいと思うんです。目が合わないことで、バーチャルではあるけれど、触覚に対して集中するというか……。
渡邊：この体験では、相手が自分の触覚空間に入っても、お互いを許容できる何かがある感じがしますね。これがお互いの視線が合うシステムだと、逆に、自分の意識が画面に囚われてしまう気がします。それによって思考や想像力の自由度が逆に減っているような感覚は、すごくあります。私は、研究のディスカッションをするときには、相手の目を見ないで話すことが多いのですが、もしかしたら、このこととも関連するのかもしれないですね。
また、「見えないから伝わることがある」という意味では、2018年から東京工業大学の伊藤亜紗先生や研究所の林阿希子さんと一緒に、視覚障がい者と一緒にスポーツを観戦するプロジェクト「スポーツ・ソーシャル・ビュー 」を行なってきました。これは、一緒に観戦する晴眼者が、スポーツで起きている状況や選手の動きを別の身体動作に変換することで、視覚障がい者と一緒にスポーツ観戦を楽しむというものです。私たちのプロジェクトでは、スポーツの本質を保ったまま別の身体動作に変換するという意味で、晴眼者を「翻訳者」と呼んだりします。例えば、テニスを観戦する場合、翻訳者と視覚障がい者が向き合って座り、膝の上に円形のボードを渡して、翻訳者がボードを叩きながら観戦します。ボードをテニスコートに見立てて、二人がネットの両端に当たる位置に座るわけです。翻訳者はテニスプレーヤーが球を打った位置に当たるボードの場所を手で叩きます。ラリーが続くと、右、左と順に叩くことになりますが、興味深いことに、視覚障がい者もそこに空間を感じ、右、左と首を動かして、あたかも球の動きを追っているような観戦体験となりました。
それから柔道の場合は、真ん中に視覚障がい者が座り、それを挟むように二人の翻訳者が座ります。翻訳者は手ぬぐいの両端を持ち、視覚障がい者に真ん中を持ってもらいます。そして柔道の選手の動きに合わせて、翻訳者二人が手ぬぐいを相手の道着と見立てて引っ張り合うんです。引っ張り合うだけじゃなく、フェイントをかけたり、重心を崩すような動きも行ったりすることで、視覚障がい者には試合の駆け引きや緊張感を味わってもらいました。
このプロジェクトで重要なのは、機械やコンピュータを使用して正確に「伝える」のではなく、人間である翻訳者が間に入って「関わり合う」ことです。柔道の場合、翻訳者は担当選手を決めて試合を再現しているのですが、いつの間にか、勝ちたいという気持ちになったり、もう一つ別の試合を行っているような感覚になったりします。さらに、視覚障がい者もその手ぬぐいの動きについていかなければならず、試合に巻き込まれているような感覚が生まれるのです。翻訳者と視覚障がい者が一つのシステムのとしてつながっているけれども、その間では情報を正しく伝えるのではなく、動きの揺らぎや解釈の幅まで含めて自律的な関係が担保されている。「われわれとしての自己」に委ねられているような関係性がそこには生まれている気がしました。そのような、境界や解釈が揺らぐ関係性は身体や触覚が持つ特性ですし、その特性を使って視覚障がい者が、受け身でない形でスポーツ観戦を楽しむことができるのではということでした。
向井：お話を伺ってすごく面白いなと感じたのは、記号化して体験を理解しているということです。スポーツ観戦などは、モニターの中での実況では、状況が描写されますよね。わたしたちはそれに慣れすぎていると思うんです。実際にスタジアムで見ている人たちは、状況の説明を共有しているわけではなく、そこにある臨場感やスピード、緊張感などを共有しているはずですよね。それと全く同じ緊張感ではなくても、それのトポスのようなものを共有している。そのことに、感覚や体験の形を探ることの可能性を感じました。
渡邊：そうなんです。ありがとうございます。今お話ししたのは身体的な翻訳によるスポーツ観戦の取り組みですが、さらに、スポーツの体験自体を翻訳する試みもあります。こちらも同じメンバーでやっている「見えないスポーツ図鑑」というプロジェクトの一部なのですが、晴眼者であってもスポーツの本質は見えていないのでは？という問いから始まっています。普段、映像によって観戦しているものは、本当にスポーツ選手の感じている感覚や競技の本質なのだろうかということで、競技のエキスパートをお呼びして、その競技の本質をお伺いしながら、別の動きに翻訳するということを行いました。
2020年、晶文社
例えば、フェンシングの翻訳を例にあげましょう。元フェンシング日本代表・ロンドン五輪銀メダリストの千田健太さんをお呼びして、フェンシングの競技の本質についてお聞きしながら、それをさまざまなものに置き換え、試行錯誤しながら翻訳を進めました。フェンシングのエッセンスを取りだすために、棒と棒を絡ませてみるなど、さまざまな方法を試したのですが、最後にはなぜか知恵の輪のようになったんです。プレイヤーはそれぞれアルファベットの木片を選び、選んだ木片を絡ませます。その状態のまま目を閉じて、10秒間で片方の人は外そうと、片方の人は外されまいとする。フェンシングでは、指先の繊細な感覚による剣の操作「フィンガリング」と、事前に戦略を決めて勝負する戦略性が重要であるとのことで、戦略を木片の形ととらえ、木片を指先の感覚だけで操作するという動きに翻訳しました。
同じように、野球では、元プロ野球・横浜ベイスターズのピッチャーで、現在NTTコミュニケーション科学基礎研究所の福田岳洋さんをお呼びして、ピッチャーとバッターの関係性の翻訳を行いました。ピッチャー役の人とバッター役の人が目を閉じて座り、ピッチャーは手にサスペンダーを持ち、１，２，３のタイミングで引きます。バッターは片手でピッチャーの肩に触れ、もう一方の手でピッチャーの引くサスペンダーを叩きます。バッターがサスペンダーの特定の位置を叩くことができたら「ホームラン」。逆に、サスペンダーに触れることができなければ空振りというわけです。目を閉じているので、バッターは相手の肩の筋肉の動きを感じて、腕の動きのタイミングを予測します。実際の野球でも、バッターは、ピッチャーの投げる時速150キロの球を「見て」、バットを振っているわけではありません。ピッチャーの投げる動作からタイミングを予測し、それに合わせてバットを振っています。そのマウンドからホームベースまでの距離をゼロにして、ピッチャーの筋肉の動きを触覚的に感じながら駆け引きをするという形に翻訳したのです。
翻訳されたどちらの競技も目を閉じて行います。これらの競技の翻訳においては、目が見える／見えないは関係ないのです。また、力勝負ではなく、指先の感覚や手のひらで感じる感覚によって勝ち負けが決まるので、子どもと大人でも戦えますし、車いすの方とでも戦えるのです。実際、いろいろな場所でやってみると、メダリストより子どものほうが強かったりすることもありました。この取り組みは、その道を極めたエキスパートの感覚や競技のエッセンスを抽出したので、スポーツ自体の面白さが感じられる一方で、全然違う人たちと新しい関係を結ぶきっかけが生まれているような気がしたんです。
向井：エッセンスの抽出の過程というのは、どのようにされているのでしょうか？ どうやってお互いに共有しているのか気になります。しかもこの場合は、体験に形状を与えていくプロセスがありますよね。
渡邊：実は、この翻訳のプロセスでは、机の上に100円ショップで買ったさまざまなグッズが山ほど乗っていて、それを使って試行錯誤を行っています。正直、最終的に何が使われるかわからないので、関係するかもしれないものをとりあえず集めてみるんです（笑）。翻訳のワークショップとしては、最初にエキスパートのお話を１時間ほど聞いてから、およそ２時間でエッセンスを抽出して新しい動きに変換する、計３時間で全部をやりきる形で行いました。
向井：結局、体験そのものは見た目の形状とは全く別の形を持っていたわけですね。
渡邊：おっしゃるとおりです。翻訳としては、できるだけ見た目からは遠ざかりたいんですが、最初はやはり競技に似ているもの、フェンシングだったら尖った棒を選んでしまうんですね。ただ、それでは翻訳したことにはならないので、本質にあるものは何だろうと考えつつ、少しずつものの形をずらしていきます。そうして、さまざまなものを試しながら、エキスパートの方が「これは○○っぽいね（フェンシングっぽいね）」と言ってくださるまでを３時間のうちにやりきるわけです。その道のエキスパートに確固たる基準として判断してもらいながら、スポーツの本質を見立て、日常的なもので置き換えるという作業を10種目行いました。種目によって全く違った翻訳が現れています。
向井：少し話がずれてしまうかもしれないのですが、わたしが映像で体験の共有やつながりをつくるとき、いろいろな場所の写真を素材として使用することがあるのですが、その際、それ自体のローカリティみたいなものは排除して、形状や色彩を増幅させたり、その情報を還元させたりしているんです。一見体験の情報を簡略化しているだけに思えるかもしれないですが、そのことによって、全然関係なく思える場所に、串刺しになる別の体験や形みたいなものがある。そういうものを抜き出してきたときに、初めて他の人とのつながりみたいなものがもう一回結べるんじゃないかと感じているんですね。渡邊さんが今なさっていることというのは、そのものの見た目ではなく、形を置き換えることで、どのような構造や組み合わせが、その体験の内実を構成する要素なのかを抽出する作業だと思いました。
渡邊：そうですね。抽出されたものという意味では一般的なものではあるのですが、一方で、これらの体験は、誰とやるかという個別性の要素も重要になると思っています。どういうことかというと、例えば先ほどのテニスや柔道の観戦も、「さっき目の前で話していた人が、選手の素晴らしい動きで興奮して板を叩いている」とか、「いつもは仲の良い二人が手ぬぐいを引っ張り合っている」といったように、触覚に意味づけがなされることでその体験の生々しさが変わるのです。触覚だけでは結局、意味を持たない。触覚は、コンピュータ・グラフィクスの世界で言うところの、ポリゴンとテクスチャーのポリゴンしかない状態なのです。そのポリゴンをデジタル化し、もう一度、人に提示するときに、どのようにテクスチャーをつくってあげられるかが課題です。テニスの動きを振動に置き換えること自体は、叩いている振動を記録するだけなので、やろうと思えば簡単にできてしまう。でも、そのときに「この人が叩きました」ということを見せられる、そのストーリーなりテクスチャーなりをどのようにつくっていくか、言い換えると、触覚を生み出した人と触覚を感じる人が別の時間や空間にいたとしても、それらの人々が「われわれ」であることをどうやって感じられるかが、デザインされるべきことなのだと思います。
向井：構造を抜き出していても、構造を含むディテールがないと体験の形が成り立たないということですよね。
渡邊：そうですね。構造だけでは抜け殻になってしまうところがあります。「心臓ピクニック」でも、心拍を刻む箱が目の前の人とわざわざ線でつながっていることで、それを見た瞬間に、他人の大事なものを触ってしまったという感覚が生まれるんです。テクノロジーを使えば無線にもできるのですが、どこともつながっていない箱が心拍のリズムで動いていても、ただ気持ちが悪いだけになってしまいます。触覚が生み出す揺らぎや解釈の縁に、どうやって輪郭をつくりだすか、人との関わりを示唆するかということがすごく大事だと思いますね。
向井：つながっているという実際の体験ももちろんあるのですが、わたしは、想像力の部分も大きいかなというふうに思っています。90年代にインターネットが生まれて、ヴィレム・フルッサー *1などのテレマティックスの概念が出てきたときに、有線でつながっている先のどこかに、会ったことがあるかないかもわからない人の、体温や存在が感じられるかもしれない、という想像力の喚起が面白かったのだと思うんです。無線の時代になってしまった今、どことつながっているのかがわかりません。それゆえに、フラットな面でしか見えてこない。もしかしたら根っこのところでつながっているかもしれないのに、それが感じられないですよね。人を介在させなかったときに、どうやってテクノロジーを介して、そういったものをもう一回取得することができるのか。そこの想像力が大事なのではないでしょうか。
渡邊：おっしゃるとおりです。可能性がゼロではないこと、「つながっているかもしれない」という可能性が少しでもあることが、人の想像力を喚起するのでしょう。先ほどのテニスの翻訳でも、翻訳者の振動を記録して、無人で板を振動させたことがあります。板の振動を感じている時に、焦りによる強弱の変化や、ふとした叩き間違いがあると、「あれ？」とその瞬間にちょっとゾワッとするというか、モードが変わるんですよね。人の存在を強く意識させる体験があることで、テクノロジーに「人感」みたいなものが一瞬顔を出すんです。
///
*1 ヴィレム・フルッサー（Vilém Flusser、1920年～1991年）
1929年、チェコスロバキア生まれの哲学者。のちにブラジルに亡命。写真をはじめとしたメディア哲学、コミュニケーション哲学、言語学、歴史学、移民研究など、多岐にわたる哲学論を展開。1970年代以降、イタリア、フランスへ移住、著作は、ドイツ語、ポルトガル語、英語、フランス語など多言語で執筆されている。
///