見出し画像

総括 Inner Universe

前回の投稿からしばらく時間が空いてしまいました。展示会が2つ連続で続いてなんとも忙しい7月でした。やっと落ち着いたので、この間に作った4作品を一つづつまとめていこうと思います。

今回はInnerUniverseについて書こうと思います。先の投稿でこのシステム周りの解説を書いたので、この記事では総括をしようと思います。この作品を簡単に言うと3D音響とスマホによるインタラクティブな作品でしょうか。

これまでの「Inner Universe」に関するnote
「untitled」制作中 ~インタラクティブ!
「untitled」「Inner Universe」システム完成!
目次
・作品
 ・映像
 ・詳細
・動機
・コンセプト
 ・手法
 ・内容
・制作
 ・システム
 ・曲
・まとめ

作品

映像
作品発表の様子を360度カメラに納めたので公開します。音はバイノーラル録音したものを編集で後から付け加えたので、イヤホンで聞くとその場にいる感が味わえると思います。

映像ではうまく映りきっていないませんが、スマートホンの画面が照明のように点減しています。(もう少しわかりやすい映像を考えないとダメですね)

詳細

この作品は学内で学期末に開かれる展示会「Rundgang 2018」内のコンサート「rOundabOut 2018」で披露しました。会場は学校の隣(建物はくっついてる)のZKM(カールスルーエ・アート・メディアセンター)内のKubusという3D音響設備を備えた会場で行ないました(贅沢!)。

(正面の青くみえるガラス張りの建物の2階がKubus)
(建物の塔から左側がZKM、右側がHfG / カールスルーエ造形大学)

(入り口はこんな感じ)

(内部はこんな感じ、青いライトが見えるのがスピーカ)

観客は自分のスマートホンから特定のWi-Fi経由で、僕のコンピューター内のサーバーに接続してもらいました。これによって僕のコンピューターからスマホに対して様々な信号を送ることができるようになります。今回はスマートホンの画面の背景色を変えるのと、音を再生する信号を送りました。(詳細は後述)

動機

すでに他の記事で書きましたが、このプロジェクトを始めようと思ったきっかけを振り返って見たいと思います。これには大きく3つの要素が関係していました。

・3D音響との出会い
・Garth Paine氏の講義をきく(「untitled」制作中 ~インタラクティブ!
・コンサートInscape(Inscapeとircam パリ課外授業

今までの記事で言葉は登場しても特に言及してこなかったので簡単に3D音響について触れたいと思います。(3D音響に関しての詳しいnoteは今後投稿しようと思っています。)

3D音響とは最近のトレンドになっている360度カメラを想像するとわかりやすいと思います。今までのカメラは風景の一部を切り取る装置でした。それが360度になることでその空間を再現できるようになりました。3D音響もそれと同じように、通常のスピーカー二台では前方からくる音源しか再現できなかったのが、全方位にスピーカを置くことで様々な方向からきこえる音を再現できるようになりました。これが3D音響です。

授業でこの3D音響の実現方法についてを学んでいたのですが、先に挙げた2つの経験、GarthPaine氏の観客のスマートホンを制御して3D音響と組み合わせる作品、パリでのオーケストラと3D音響の作品を通して、自分で何か作品を作りたいと思うようになりました。

コンセプト

このような動機から、手法としては音響を中心とした舞台芸術を目指し、その中で何か表現することにしました。

手法

何か作るとき、舞台芸術という言葉を意識するのですが、定義が自分の中でも曖昧だったので、調べてみたらwikiに良いことが書いてありました。

舞台芸術とは、演劇、歌舞伎、ミュージカルなど、舞台や空間上で行われる芸術の総称である。
音楽や美術、言語など、様々な要素が用いられるが、本質的には、表現者と観客が同じ時間と空間を共有しつつ、その場で作品の実体が生み出されていく形態の芸術を指す。その際に、表現者が作品実体を提示していく場所が「舞台」であると定義できる。つまり舞台芸術とは、必ずしも劇場で行うことが成立の条件とされているわけではない。

つまり、舞台芸術とはライブで進んでいく芸術です。そのため、観客・演者の関わりによって作品は完成します。

今回僕が、この言葉を使おうと思ったのは、この曲をただ聞くコンサートのための作品にしたいのではなく、観客が参加できる形の作品として発表したかったからです。これが、スマートフォンを媒介として実現できると考えました。

内容

そして、そのような手法を使って何を描くか。

今回は精神世界を描きたいと思っていました。
なぜこれを描こうと思ったか。それはこの作品が発表される空間が精神世界に似ていて、そのリンクがうまく使えると思ったからです。

まず僕が描く精神世界とは何か。
それは、人と人の影響の仕方です。
僕たちが何か感じ、何かしようと思う時、そこには必ず外部への何かしらの影響が生じます。すなわち、私たちが何か行動を起こした時、その行動は他の人へ影響を与え、これがずっと続いていきます。コミュニケーションといったほうが早いかもしれません。これをもう少し深く掘ってみると、自分内部からのエネルギー(自分の考え)と外部からのエネルギー(影響)が自分の中でいろいろに混ざり合っていく様子を描きたかったからです。

そして、この様子と空間との位置付け。
今日たくさんの人がスマホという窓からたくさんの情報を取り入れています。すなわち、間接的にスマホから影響を受けていると言ってもいい。そして、3D音響はたくさんの音をいろいろな場所に出せる。すなわち観客が聞く場所によってどの音が聞こえるかは変わる。これは非常に情報の伝わり方(=影響のされかた)と似ていると思いました。

このような思考で、制作に取り掛かりました。

制作

ここまでは理想の話で、この理想に近づけるべく、システムの改良と音の制作を行なっていきました。曲の制作途中で少し方向性が変わり、精神世界までの奥深さを表すにはさらなる思考と時間が必要であると感じ、少し浅く、タイトルを「Communication」に変更しました。

システム

前回の記事で詳細なシステムの解説はしましたが、そこから本番に向けて多少改良しました。

システム図は最終的にこのような形になりました。MacBookの出力ポートほぼ全部を使いました。CPUの使用率の観点からもう一つのコンピューターで3D音響のリアルタイムミキシングをすることにしました。
また前回から、スマートホンで音声の再生・停止が行う機能を追加しました。以前のnoteでも書きましたが、これをすることによって、任意の位置に音源を作ることが可能となり、表現の方法が広がります。

感想
サーバーはJavaScript、クライアントはhtml, CSS, JavaScript、制御系はprocessing(Java), Maxと様々なプログラミング言語を横断して使うのがなかなか骨が折れた。
・クライアント - html CSS JavaScript
今回スマートホンで参加することができるようにするために、iphoneとAndroidの両方に対応させる必要があった。自分はiphoneを持っておらず、動作確認をするのがなかなか大変だった。(前日にトラブってたいへんだ。。。)そのミスはコードの中でjQueryを使っていたのだが、インターネットにリンクをつけていて、今回はネット接続なしのローカルネットを使用したため、jQueryが動かなくて原因発見までてんてこまいになった。
・サーバー - Node.js (socket.io)
前回の記事でも書いたが、JavaScriptを書いたことが全然なかったので、なかなかに大変だった。
・制御系 - processing
今回、ArrayListやClassの概念を初めて導入してみたが、なかなかうまくいかず、動作中にクラッシュすることが度々ある。コードをかき直す時間がなかったので、Max側でバックアップ体制を作った。
・制御系 - Max/Msp
ここに全てのoscメッセージを集めた。いわば司令塔となる場所。3D音響のためにspat5というircamから出されているパッケージを使用していたのだが、なぜかCPUを300%以上食うという事象が生じた。先生に確認したところ、そのパッケージのコードミスだったらしく、新しく書き直してくれた。(先生が開発元の人だった笑)

当初はコンセプトに関係なく、普通の楽器を使った曲ではなく、ノイズが混じったよう音を使い、リズムが内容な音を構成したいと考えていました。ですから、自作したアナログシンセから録音した音源と、ピアノの弦を叩いた音や鳥のなく声などを組み合わせようと考えていました。一週間前まではこの方向性で音の録音やコンポーズを行なっていたのですが、なんとも、自分の表現したいことを表現できない気しかしなくなってしまいました。そこで方針を転換して、リズムのある曲で楽器も使いつつ、現在までに作った音を組み合わせていくことにしました。

感想
・数年ぶりに自分で曲を作った。
やはり、なかなか難しいものがあるなと感じた。自分のイメージと音をどのようにしてつなぎ合わせるか、それぞれの音はどういう位置付にするか、どう絡ませるか。どの位置から音が聞こえてくるのがストーリーとしていいのか。それを観客はどう聞くか。など、そもそもステレオ用の曲でさえ考えるべきことがたくさんあるのに、3Dに拡張するともっと増えて、なかなか制御しきれなかったがこればかりはたくさん作っていく中で学ぶしかない。
・DAWについて
時間もなかったのでMacに入ってるGarageBandで曲を作っていったのだが、途中である重大なことに気づいた。それは、GarageBandはマルチアウトプット機能がないことだ。今回のシステムでは3D音響用の音の大きさやどのスピーカに音を割り振るかといった計算を外部のソフトに行わせている。つまり、そのソフトに一つ一つの音を送らなければならない。しかし、GarageBandではそれができず、全てのおとが混ざったステレオ用の出力機能しか持ってない。これに途中で気づいた。とてもめんどくさい。とてもめんどくさいが、時間もなければお金もない(Logicにアップグレードすればマルチアウトできるらしい)ので、GarageBandから1トラックづつ書き出してReaperに吐き出し、Reaperから曲を再生するようにした。これがなんとも大変で、音を変えたかったらGarageBandで変更し、書き出し、Reaperに入れなおすという手間を踏まないといけない。他の人を見ていると、多くの人がAbletonを使っている。買おうかな。。。(¥32000)

まとめ

さて、このような形で作品を一つ発表しました。いろいろと未熟なところはたくさんありましたが、とりあえず無事にコンサートを終われました。(本番前にもいろいろトラブったが笑)
初めてやることが多くてなかなかな挑戦でしたが、いろいろな技を使えるようになったと思います。
また、この作品はまだ途中段階だと思っています。これからまだまだ良い作品にしていくつ。

この記事が気に入ったらサポートをしてみませんか?