「メディアアート x 建築の可能性」（前編）

本セッションは、多くのメディアアートを手がける「Ouchhh」のお二方にご登壇いただきました。

前編となる今回では、代表作である「POETIC AI」および「DATA GATE」について、Ouchhhの理念や制作プロセスをふまえながらお話いただきます。

本記事は、2019年1月に開催した『METACITY CONFERENCE 2019』の講演内容を記事化したものです。その他登壇者の講演内容はこちらから。
・TEXT BY / EDITED BY / TRANSLATED BY: Shin Aoyama (VOLOCITEE)
・PRESENTED BY: Makuhari Messe

＊

青木：続いては、メディアアーティストグループ「Ouchhh」をお招きしております。彼らは「POETIC AI」という作品で全世界的に有名になったグループなんですが、セッションのテーマ「メディアアート×建築の可能性」にもあります通り、メディアアートを表現する上で建築という物理的な空間の重要性を指摘しております。今回はそういった視点からアート、建築、そして都市についてお話しいただきたいと思っています。ではご登壇いただきましょう。

芸術と科学が出会うとき、未知のものが生まれる

Ferdi Alici：こんにちは、皆さんお越し頂きありがとうございます。実は私たち、東京に来たのは初めてでとてもワクワクしています。この貴重な機会を作ってくださったMETACITYの皆さんに、この場を借りて感謝します。

さてそれでは、私たちが歩んできた旅路について紹介しましょう。まずは私たちのクリエイションプロセス、次に私たちの歴史、最後に今後予定されているプロジェクトについてお話ししたいと思います。

アルバート・アインシュタインいわく、「私たちが経験できる最も美しいものは『謎』であり、それはあらゆる真の芸術と科学の源である」。私たちはこの言葉が大好きで、このように理解しています。「未知のものとは、芸術と科学が出会うところに生まれるのだ」と。

画面に映っているのは私たちのこれまでの作品のコラージュです。OuchhhはドイツのRed Dot Design Award、ニューヨークのADC Award、ドイツのDesign Awards、ロサンゼルスのInternational Design Awardsをはじめとした受賞歴を持つ「クリエイティヴ “ニューメディア” スタジオ」です。「新しいメディア」ってどういう意味でしょう？実は、私たちはどの作品においても、芸術・科学・テクノロジーを融合させることを目指しています。すなわち、私たちは戦略的に「ニューメディアスタジオ」としての地位を確立しているんです。従来の広告会社やデジタルスタジオでは、私たちのような独自のサービスは提供できません。また、私たちは美術館、政府、ブランド、フェスティバル、企業などとのコラボレーションを行なっています。私たちはイスタンブールを拠点としながら、バルセロナ、ベルリン、ウィーン、ロサンゼルスといった世界各都市と提携しています。

私たちはモントリオール、ニューメキシコ、パリ、ジェノバ、バウハウス大学、ブダペスト、プラハ、ブリュッセル、スコットランドなど、ほとんどすべての大陸の都市で仕事をしてきました。他にもニューヨーク、ミラノ、ローマ、イギリス、サンフランシスコ、マドリード、デンバー、シアトル、モスクワ、マイアミ、ワシントン、メルボルン、ルーマニア、それに東京でもプロジェクトを行いました。中でもスコットランドのプロジェクトはおもしろい経験でした。この時、私たちのプロデューサーはサンフランシスコに、クライアントは中国に、そして組織はスコットランドにいて、実際の制作はイスタンブールで行われました。しかも一切の修正なしに、わずか10日間で完成させたんです。

POETIC AI

このプロジェクトは、パリの「ラトリエ・デ・リュミエール」の展示会場、「Studio」で行なった世界最大のAI特別展です。ひとつのホールに146台のプロジェクターが使用されています。AIとのインタラクションを通じたパブリックアートを目指している私たちにとって、このプロジェクトは非常に特別なものです。私たちは機械学習を使ってアートの境界を理解しようと考え、「POETIC AI」をデザインしました。

このプログラムと並行してメイン会場である大ホールでは、グスタフ・クリムトをテーマとしたプロジェクションマッピングが行われていました。観客はまず大ホールで15分間、クリムトの絵画を体験するのです。ここで私たちはクリムトという歴史的芸術家に着目し、それをハックすることを考えました。こうして「AIの詩的な旅」というコンセプトのもと、このパリのアート愛好者にむけたフューチャリスティックな展覧会はつくられていったのです。実際の制作には57人が携わりました。では、ここからは「POETIC AI」の制作プロセスとその意味についてお話ししましょう。

私たちは、機械学習とAIアルゴリズムを使ったAIの詩的な分析について興味を抱きました。そこで私たちは、約2000万行の光、物理、空間、時間に関する理論および、世界を変えた有名な科学者たちのアイデアを学習させることで、AI独自の理論を生成させようと試みました。そしてこの『POETIC AI』の展示が生まれたのです。

AIは私たちが収集したデータを各30回づつ読む学習を通じて、独自の理論をつくり出しました。これを元に、私たちは展覧会のための三つの媒体をつくりました。一つはご覧のような「没入感のある体験」。もう一つは「彫刻」。最後に「本」です。

このスライドの文章も私たちのAIから出力されました。このまるで「超科学者」とでもいうべき文章を通じて、ある種の高次の意識を生み出そうとしたのです。AIから最初の創造物が生まれた瞬間は、私たちにとって非常に貴重なものになりました。ではこの制作プロセスとデータの流れについて詳しく見てみましょう。

ここでは2つのアルゴリズムを使用しました。一つが回帰型ニューラルネットワーク（RNN）で、TensorFlowを使っています。画面の左下を見ていただくと、2000万行を学習したAIが、独自の文を作成している様子がわかります。また、同時に私たちは没入感の高いアニメーション体験のためにProcessingを使用しています。もう1つは、Googleが開発したt-SNEアルゴリズムです。t-SNEはそれぞれの単語および、単語同士のつながりを理解しようとします。画面の各パーティクルが1つの単語を表し、マウスでクリックすると簡単に確認できます。ドキュメントを見ると、各パーティクルがt-SNEアルゴリズムから取得されていることがわかります。以上が「POETIC AI」のワークフローです。

同時に3Dプリントを使った彫刻の作成も試みました。この彫刻のデータもt-SNEアルゴリズムによって生成されています。t-SNEは高次元データを視覚化する機械学習アルゴリズムであり、データ集合全体を3Dとして可視化します。すなわち、AIがつくり出したある種の高次意識が、実際に見て触れるようになるのです。そしてこちらの動画は「もしこの意識が動くとしたら」という想像のもと、作成されました。

最後は「本」について。私たちは科学者ではありませんが、こうした媒体に興味を持っていますし、様々な分野と融合した作品をつくろうとしています。私たちが本をつくろうと思ったきっかけは、ラマヌジャンという一人の男にあります。彼はイギリス統治時代のインドに住んでいた数学者です。彼は数学の教育を受けていませんでしたが、15歳ごろに見つけた数学理論の参考書を使って独学で勉強をしました。その後、20歳で独自の理論を展開し、さまざまな問題の解法や、無限に関する高度な理論を打ち立てました。彼はこれらの理論をケンブリッジ大学に送ったものの、黙殺されてしまいます。しかし、唯一興味を持った数学者ハーディによってイギリスに招聘され、数々の業績を残しました。そして彼の死後、彼がインドに帰った後に書いたとされる一冊の本、通称「失われたノートブック」が発見されました。それは擬テータ関数と呼ばれる数学理論についてのものであり、現在ではこのノートで予測された理論を使って、ブラックホールを理解するための公式がつくられています。実に壮大な旅路です。ここに、私たちが「POETIC AI」を本にしたかった理由があります。もしどこか別の宇宙でその本を見つけた科学者がいたら、彼らのインスピレーション源になるかもしれないと想像したのです。 その時、これはアートであると同時に宇宙を理解するために使われているのです。

結果的に、私たちの展示は9ヶ月で100万人の方にご来場いただくなど、パリから大きな反響をいただきました。ニュースや新聞でも特集されたのは、ちょっと意外でしたね。また、これがきっかけでTEDxCERNにも招待いただきました。このように、展示の結果は私たちにとって完璧というべきものになりました。そして私たちは現在、この展示の制作過程から学んだ多くの知見を活かして、マイアミ、ニューヨーク、中国などの新しい都市での実践に取り組んでいます。

DATA GATE

それから、私たちは新しいプロジェクトとして「DATA GATE」を制作しました。このプロジェクトを通じて私たちは、建築とデータとパブリックアートの関係性について多くのことを学びました。 近い将来、アート×テクノロジーは、より大胆で野心的な没入型の体験をもたらすでしょう。 テクノロジーは、われわれがつくり出す経験や、アイデアの共有方法を変えつつあります。 だからこそ私たちは、このアート作品を南京につくろうと考えました。 なぜなら、南京は中国の創造性の中枢であり、今後アートとテクノロジーの中心地になるであろう場所だからです。 南京江北新区は、イノベーションとテクノロジーのハブとなり、新しいタイプの都市化の実証エリアとなるでしょう。私たちは南京江北新区を芸術、科学、テクノロジーの中心地にしたい。 だからこそ、「DATA GATE」が生まれたのです。

では具体的な内容を説明しましょう。このプロジェクトでは、ケプラー望遠鏡から得られたNASAのオープンソースデータを使いました。ケプラーは新しい太陽系外惑星を見つけるべく、9年間働いてきました。私たちはそのデータをパブリックアートに使いたいと考えたのです。こうした科学研究の領域はもちろん、都市においても公共空間のために膨大なデータが生成され続けています。これらのデータがパブリックアートに利用できると考えれば、METACITYにとって今は非常に重要なタイミングだと言えるのかもしれませんね。

2つの分野を組み合わせることで、アーティストと観客の双方に新しい考え方が生まれます。科学者と芸術家のコラボレーションが興味深いのは、作品に観客のさまざまな角度からの理解を許容できる強度をもたらす点です。

そこで私たちは、NASAのDawn Gelinoと共同で制作を行いました。彼女はNASAの天体物理学者で、太陽系外惑星の多様性と居住性を調査しています。先ほどのアインシュタインの言葉に倣えば、真の芸術家と真の科学者のコラボレーションには無限の可能性があるはずですから、彼女と一緒に作品をつくれることは光栄でした。

では、この作品におけるデータの流れはどうなっているのでしょうか。オンライン上のNASAの太陽系外惑星アーカイブから収集されたデータ──10年間に観測された約3000個の惑星、61個の超新星、50万個の恒星──は非常に巨大であり、これを使った制作プロセスを最適化する必要がありました。現在はいくつかのプラットフォーム──VVVV用のもの、Houdini用のもの、Processing用のものなど──を使用しています。ここからは、DATA GATE制作におけるデータ処理について動画で説明していきましょう。

Ferdi Alici：我々が利用している技術の一つに 「次元削減 」と呼ばれるものがあります。これは太陽系外惑星を表すデータセットです。各テーブルには約100の列が含まれていて、各列のデータは惑星一つ一つの未来を表しています。

これらに加えて、公開されているデータには、各惑星の検出で使用された光度曲線が含まれています。光度曲線データだけでは、惑星を簡単に検出できません。これまで様々なAI手法を用いて光度曲線から惑星データを解析・抽出する方法が試されてきましたが、私たちはこの情報を解釈し、審美性を付与するためのAIを用いたアプローチを提案しました。私たちの興味は、これまでとは異なる形式でのAIによる可視化にあります。光度曲線データから惑星データを抽出する代わりに、光度曲線データから可視化のための独自の光度曲線を生成しました。

RNNの学習の結果からインスピレーションを得て，私たちはより実験的な手法を試すようになりました。次元削減とRNNにより出力は2、3あるいは4次元のデータになります。我々はこの情報を点群として直接可視化したり、より間接的な方法としてはアニメーションの主制御にするなど、多くの方法で使用しています。

良い例として、パラレルノイズが挙げられます。ボリュームのある点群ベースのレンダリングでは、ランダムな動きを使用する代わりに、この多次元出力をノイズの主なパラメータとして使用し、光度曲線データや隠れた外惑星との関係性をパラレルノイズの発生に変換します。

CCVというケプラーの太陽系外惑星データの一部をX-PluginsのVoronoi Fracture機能の入力として読み込みました。またケプラーの太陽系外惑星データに含まれるサウンドデータもX-PluginsのSound Modifier機能に読み込み、粒子を自動生成しました。

GAN（敵対的生成ネットワーク）で生成されたビジュアルは、アニメーションの変位や光の強さなど、音声・視覚領域の様々なパラメータを調整するために使用しています。

Ferdi Alici：以上がデータ変換の流れです。コンピュータエンジニアの中には「こんなアーティスティックなものはAIではない」と言って、創造的なことから目を背ける人もいるかもしれません。しかし、私たちは各所でAIを使用した上で、そのデータを常にクリエイティブなアニメーションへと変換しています。

＊

NEXT：後編はこちらから

登壇者プロフィール

Ouchhh
アルスエレクトロニカを始め数々の受賞歴を持つ、アート・サイエンスシーンで頭角を現しているクリエイティブ・メディア・エージェンシー。 テクノロジー・アート・サイエンスの垣根を超えた体験を生み出し、インタラクティブなメディアプラットフォーム、 AIやビックデータをつかったビジュアル生成による彫刻や絵画的表現、キネティックなパーマネントアート、ドームやVRなどの没入型の映像体験、 そして建築の外壁を用いたプロジェクションマッピングをはじめとした映像＋音楽パフォーマンスなど、様々な技術を複合的に扱うことを得意としている。 特にメディアアートと建築分野で、デジタルと身体をハイブリッドな関係で結びつける空間と体験を世に送り出している。

青木 竜太｜RYUTA AOKI
コンセプトデザイナー・社会彫刻家。ヴォロシティ株式会社 代表取締役社長、株式会社オルタナティヴ・マシン 共同創業者、株式会社無茶苦茶 共同創業者。その他「Art Hack Day」、「The TEA-ROOM」、「ALIFE Lab.」、「METACITY」などの共同設立者兼ディレクターも兼任。主にアートサイエンス分野でプロジェクトや展覧会のプロデュース、アート作品の制作を行う。価値創造を支える目に見えない構造の設計を得意とする。
Twitter | Instagram | Web