「ぐにゃ音（gunya-on）」について
「ぐにゃ音」というものを作った。
（2024/2/26追記：現在、iPhoneでは不具合があり、こちらから体験することができません…）
（2024/06/03追記：スタート画面でタイトルロゴをタップし、メッセージを×で消した後だと通常通り動きます）
これがどのようなものなのか、一言でどう説明するか迷っていたけども、音と画像をぐにゃぐにゃさせて、相互作用を楽しむプログラムです。インタラクションを伴うものって、ゲームであれ！という圧力が少なからずある気がするので、それではないんです、と文脈を共有してない人にどう説明するのかって難しいなと思う。「作品」というと仰々しすぎる気がするため、プログラムです、というとしっくりくる。めんどくさいのでこのnoteでは一応作品と呼びます。
そんな「ぐにゃ音」ついて、制作時に考えてたこと、そしてジャンキャリでの展示、そのフィードバックと反省について書いています。長いです。
ジャンキャリありがとうございました
これは春学期の入門演習で作ったもの、映像学部のジャンキャリにも提出・展示した。ジャンキャリというイベントの知名度、他学部に全然ないらしくて、いいのか…？とは思ったり。なんの冗談か展示部門のアワードをいただいてしまった。ありがとうございます…
単に見てくれた人で投票に参加してくれた人が多かったのかなと思っている。なんか運が良かったのかなーと。そう考えると、クオリティに自信がなかったので、展示するというところに重点を置いてやろう、と決めてかかったのはよかったのかもしれない。周りが３回生だらけなので、技術的なクオリティで勝てるはずは毛頭ない… 事前に想定していたことではあったけど、前日の設営でそれはかなり感じた。
コンセプトボードの設置、モニターを配置してビジュアル的な華やかさ（大事）とアンケートQRコードの提示、体験してもらうことに重きを置いてiPad版を制作・設置、名刺を置く、など、見せること・体験されることに重点を置いた展示とした。前日準備で操作や内容の説明がないことに気づき、急ぎ大慌てで説明の紙を用意した（iPadの左右に置いているもの）。
席を外している間に、この紙を見て体験してくださった方がいたと聞き、よかった。
ぐにゃ音でやりたかったこと
歪めようイメージ
冒頭で言った通り、この作品は映像学入門演習で制作した。課題内容は「OpenProcessingを用いて"楽器"を作ること」だった。楽器、と言ってても、音が鳴って、視覚的なインタラクションがあれば良さそうだったので、普段やっている写真を使って何か作りたい、となった。
もともとは、とりあえずイメージを歪めたい、というのがぼんやりとあった。固定されたイメージ（像）を自らの手で歪ませる、それと共に音を歪ませたい！と。
このイメージから、じゃあ写真使うか、になり、
このようになった。授業で制作した時は、このタコしかなく、音楽も1種類しかなかった。何でタコ？て聞かれたけど、ほんまに何となくです。ぼやけた時と解像度高い時のイメージの出方がちょうどよかったのがこれだった。あと（タコは）ぐにゃ、としているため…
ジャンキャリでは写真と音楽のセットを１パターン追加した。街の鳥瞰写真。初期画面で選べるようになっている。海と対比するものとして、あとは自分の好きな写真を選んだ。
つくった音
音も写真に合うように…と制作した。音楽に明るいわけではないので、Garage Bandで、ループ音源と効果音ラボから借りた音源を切り刻んだりして作った。環境音をもとに作り始めるのが一番やりやすい…そういや最近ぼちぼち（ダラダラ）strudelのチュートリアルをぽちぽちしていて、リズムを刻んでいる時に外から人の声とか電気自動車のヒｭｲーﾝみたいな音が重なると興奮しすぎる。そういう偶然性とか、現実と数値の世界のないまぜが楽しいのかもしれない。音はSoundCloud(ここ)にあげた。
コンセプト
「ぐにゃ音」では画面をなぞることにより、音とイメージの相互作用を体験できる。画面を上下左右や円状など、さまざまになぞれば、音はぐにゃぐにゃ変化し、それと同時にイメージも変化する。
元となる画像には、自身で撮影した写真を用いている。では、画面上でぐにゃぐにゃとうごめくものは、果たして写真なのだろうか。写真はピクセルの集合である。ではそのピクセルが円形なら。またその大きさが毎フレーム変化し、上書きされていくのなら？
写真、静止画でないなら、動画なのだろうか。円の描画に焦点を当てれば、次々円が描かれる様子が円を用いたアニメーションだということもできる。しかし、いくらぐにゃぐにゃとさせても、被写体やその形態自体が変化することはなく、円が小さくなれば静止画らしく見える…
あなたの操作によって、「ぐにゃ音」は静止画と動画の間をぐにゃぐにゃと行き来する。
これはジャンキャリでの展示の際、コンセプトボードに書いた文。展示するならこの作品の「意義」のところを説明すべきだ、と思って書いた。
このプログラムは、音を変化させてイメージがついてくるのでも、イメージを変化させて音がついてくるのでもない。いや、厳密にいったらタッチしてる指の座標を音のrateとlevelの数値に変換して、その数値をイメージを描画する際にも使っている。そこではrateとlevelの数値を音のレートとボリュームを設定するところに入れるのと、イメージの描画を設定するとこに入れるのって、ほぼ同時なので… だから、「指&音」⇆「イメージ」ではなく、「指」⇆「音&イメージ」の構図が一番的を得ていると思う。プログラミング知識・構造理解が弱いので、手を動かしながら受け取った結果から学んでいる感覚が強くある…
展示する意識
先ほど述べた通り、作品の中身に自信が全然なかったので、展示に力を入れよう、と決めて進めた。授業内で制作・発表した時は、真っ黒な画面をタップしたら描画が始まる、と言った簡易的なもので、説明文も作品の概要を説明した手短なものだった。そこからジャンキャリで展示するにあたり、以下の点を改良した。
1. UIを改良（プログラムの完成度を上げるため）
2. 画像・音楽のバリエーションを増やす（何周かできるように）
3. コンセプトボードの設置（作品として成り立たせるため）
4. 体験用のiPadを設置（体験しやすく、見やすいように）
5. 説明書きを用意（操作方法がわかりやすいように）
6. 画像を表示するモニターを準備（目をひくため）
7. 作品アンケートを設置（自身の研究のため）
8. 作品内の音楽を配信・そのQRコードを提示（その場だけでなく、その後もアクションがあるように）
作品を見てもらうには、一方的に提示するだけではなく、鑑賞者が作品に働きかけたくなるような仕組みをこちらが作らなければいけない、みたいな意識が結構ある。作品として見てもらえるようなラッピングをし、展示ならではのアクションを考えること、それは写真部で写真を展示する時に考え、その繰り返しで得た意識なのかもしれない。写真だと触れることができないため、触れられないただのイメージにどう鑑賞者の身を乗り出させるか、興味を持ってもらうか、みたいな思考があった。それを継いでいたり、活用しているような気がする。
それもあるけど、自分は小さいころから「私を見てくれ！」という気が強い人間であったらしいので、それが大きいかなぁとは思った。生来のかまちょなんですね…
アンケート結果
展示にあたり、googleフォームを用いた展示アンケートを実施した。体験していただいた方に回答をお願いし、21件の回答が集まった。
アンケートには以下の質問を設定した。
・「ぐにゃ音」は「写真・動画・それ以外」のどれに一番近いものだと感じたか、上記の他に似ているとしたら何だと感じたか。
・上記のように感じたのはなぜか。
以下は各回答。
「写真」に近いという意見
・触ってみて、「元が写真で、それが点描画されている」みたいなイメージに感じたから。
・丸が小さくなったときに絵に見えた
・静止画の色彩を指で変えるような体験だったから。
・ピクセルの拡大縮小の印象が強かった。視覚的な動きがあるわけではなかったから。
・作品を捉えるうえで視覚的なインパクトの方が強かったから。
・モザイクアート？絵画？のような印象を感じたから
「動画」に近いという意見
・絵が動いているから。
・コマの連続だから
・画像が変化していて動きがあったため
・ipadをなぞる度に映像が変化するから
・ずっと動いてたから
「それ以外」という意見（と他に似ているものがあれば）
・体験型だから立体感があった
・写真とはまた違う、音楽の中の一部のアート的な感じみたいでした。どちらか片方がカタチとなって表現されたら成り立つ作品っていう感じ。発想が面白くて興味深かったです。
・絵の要素としては写真が強いが、どちらかというと音の変化の方が主張として強めに感じたので。
・画面は動くが、写っているもの自体が動くわけではないため。磨りガラスを思い出した
・リアルタイムで変化するため
・使ってみた時に「テルミン」という楽器を思い出しました。テルミン自体は触らずに演奏する楽器なのですが、ぐにゃ音は触り方で音が変わった事から、デジタルデバイスではあるものの、感覚としてはアナログ的な不思議なものだったと思います。
・｢ぐにゃ音｣は｢ぐにゃ音｣だなと思った。新しかった。
・写真が自分がおこなったインタラクションで変化していくのが、写真でもなく、でも変化の仕方が丸の変化なので、動画でもないなと感じた。 patatapというインタラクションの作品とコンセプトは全く違うけど、少しにたものを感じた。
・「ぐにゃ」という言葉は「柔軟で抵抗力のないさま」を指す言葉で、この言葉を聞くと様々なものに自由自在に変化しえるものをイメージする。写真も動画も確かに変化したが、そこまで自由自在であるようには思えなかった(写真と動画の"フォルム"である「平面」が変化しなかったためであると思われる。いくら触っても原形を留めて、元とはかけ離れたものにならなかったように思われた)。自由自在に、原形とはかけ離れた形になったのは写真でも動画でもなく音楽だと感じられた。音楽は、テンポやピッチを少し変えただけでもニュートラルな状態から大きく変わったように感じられた。
・リアルタイムで映像を変えられるため。VJに近いと感じた。
その他感想（抜粋）
・どうなぞったらぐにゃぐにゃの画像が鮮明に見えてくるか試行錯誤しながら遊ぶのが楽しかった
・何も考えずとも視覚と聴覚の両方で楽しめる新しいデバイスだと感じた。選べる写真のレパートリーも増えていくと、さらに楽しくなりそうと感じた
・音楽が無限ループでないのが気になった。音の変化が楽しい作品なので、音楽が無限ループであるほうが音の変化がじっくりと楽しめ、かつ自分の好きな音を探していくという楽しみ方ができるのでよいのではないか、と思った
アンケート・その他
コンセプトボードに書いた「写真と動画の間をぐにゃぐにゃする」という箇所から、「『ぐにゃ音』は以下のどれに一番近いものだと感じましたか？」という質問を設定した。割合としては、「写真」が33.3%、「動画」が23.8％、「どちらでもない」が42.9%となった。想定してたよりもあまり差がなく、結構分かれたなぁと感じた。今となってはもっと良い質問項目とか、聞き方とかあっただろう、と思う。
諸々踏まえて考察・振り返り
展示している時にも、VJ、DJみたいって声を多く聞いた。作るときには全然意識していなかったことであったのに、かなり多くの人からその声を聞いたのでおもしろかった。自分で直感的に動かした手が影響して何かが生み出されるのは、ある程度普遍的なおもしろさなのかもしれない。まぁでもそれは、ある程度の刹那的なものでもある。刹那的であるということは単純に悪ではなく、DJやVJではその瞬間感（？）がミソで、その刹那の積み重ねが結晶のように一つのライブの記憶になる……… ということもあるので、適材適所。でも自身が作るもの、結構短絡的なおもしろさだけ追求しがちであるし、それは受け入れられやすくて嬉しいから、その構造に気づいて意識的でいなければ、と。
コンセプト、揺れてんねぇと思った。自分はコンセプトを作りながら固める傾向にあるので、どこかで辻褄が合わなくなりがちであると思う。コンセプトボードでは「写真と動画という２つのメディアの境界を行ったり来たりする」という内容のことを書いているが、プログラムでやっていて鑑賞者に提供していることとしては「写真と音声の相互作用」であったりするので、確かな食い違いがそこにはあるのだ…コンセプトの正確性についてあまり問われない環境下であったのでそんなにつっこまれなかったけど（ちゃんとつっこまれるのはつっこまれた）、そこは自分でしっかりせねばならんやろ…という落ち込みがあった。おもしろさ・楽しさを追求したコンテンツや体験を生み出すならあまり問題がないのですが、研究をする方向性にするなら、マジでちゃんと詰めなければならないし、意味がないです。おもしろいを都合よく盾にしない、と反省。
自分の気づき
入門演習でこれを作った時から、学部での探究テーマが明瞭な輪郭を帯びてきた。それが「人々が写真にどのように向き合うのか、写真の情報がどのように受け取られるのか」と「写真が他のメディアとどのように融合可能か」という2点。じゃあ具体的には何のテーマを設定し、どのメディアで作ってどこで発表するねん、て話です。ほんまに。
最近スマホ以外のカメラでの撮影（バイト以外）から距離を置きがちになっているけど、D300とかフィルムともうちょい密でありたいと思う。最近また改めて、写真は数撮ることが力を持つものであるという実感が強くなったため、撮り続けたい。何にもならんくても撮り続けることをやりたいという思いがある。
また、自分はコンセプトを設定するとき、問いだけポイっ、と投げがちだと感じた。そこで自分の立場をもっと明確に表明せねばならんと思った。作品にするなら…ジャンキャリで体験してくれた人から、「あなたの中ではどこまでが写真なんですか？」という問いを受けた。諸々を経た現時点の意見は、「写真機で記録したものが私たちの前に、"普段見ている現実にとてつもなく類似したイメージ"として現れた時、それは写真になる」である。
そして、自分は展示設計をする時、人の目線を重視しすぎかなと思った。展示方法検討の際、いろいろな人の目線（として想定できる目線）から検討して、おもしろく感じられるように設計しようとするけど、作品というコンテンツがどのようなものとして鑑賞者の前に現れるかは、展示というメディアに大きく左右される。相手にどう捉えられるかも大事ですが、自分の伝えたかったことを蔑ろにしていないかどうかも検討が必要ですよね、と思う。
今後の抱負
楽しんで何か作るためには、一回ガッとどこかで学んで、ある程度そのツールを使えることが必要…今回のこれでは、1回生の時にProcessingをちょっとガッとやったのが、本当によかった。感謝… これから、P5.js、Tidal Cycles、TouchDesigner、あたりやらなければなりません。時間を作ろう、目標を設定しよう。
あと撮りたい写真、がぼんやりとあり、それを撮りたい。あと量。記録性！記録性！写真機への妙な信用！を実感として語らないといけないので、写真を身に引き寄せなければ…と思っている。機材の見直しを行います。
それと展示、やっていきたい。展示はただそこに作品を置くだけで成り立つものではないということ、今回のことでも、9月の展示でも、ミシミシと実感として得ることができた。インターン行ったり、ほかにも展示の機会はまだありそうですので、これからも学びたい。
そして、これからいろいろやったこと、めんどくささや時間あるないに関わらず、ちゃんと振り返ってくださいね。忘れますからね。
結び
と、こんな感じでした。主に自分用にまとめた側面が強いので、読みにくく、あまり読んでてもおもしろくなかったのでは、と思います。読んでくれた方は、ありがとうございました。
おわり。
この記事が気に入ったらサポートをしてみませんか？