リモート・クラドニ図形(Telepple)を制作しました
これはなにか
※キモい声が流れます
スマホでアクセスしてきたゲストの声を元に会場に置いてある機械の上にクラドニ図形を描き出すという作品で、ライブ映像でその様子を確認することができます。
コロナ下において家からでも楽しめるリアル連動参加型インスタレーションを作ってみたいという考えから制作しました。
制作する上で重視したのは確実に自分のアクションで作品が動いている。という感覚です。
インスタレーションは人数が増えてくるとネット上でもリアルでも自分のアクションが反映されているのかはっきりわからず、もやっとした気分のまま展示を離れるということが多いので、今回は確実に！自分で動かしているという実感を持ってもらえるような作品を目指しました。
クラドニ図形とはなにか
薄い鉄板を振動させると、鉄板は波を打つような動きをします。
その鉄板に砂を乗せると波の高いところの砂はなくなり、低いところの砂は残ります。
鉄板上の波の形は振動の周波数によって様々に変化し、砂によって描き出される模様のことをクラドニ図形といいます。
鉄板は振動スピーカーなどを貼り付けて振動させます。こちらの作品は 2020年12月8日～13日に SNACKS vol.3 というインタラクション作品やメディアアートなど、デジタル作品の習作・プロトタイプを発表するグループ展で発表する予定でしたが緊急事態宣言の影響で展示期間が4日ほど短かい12〜13日になってしまったので、12月8日から頭4日間ほどは自宅に機械を設置して公開しました。
この4日間ほどに体験された方は僕の自宅に置かれた機械にアクセスしています笑。
頻繁に動くとうるさくて仕事にならないと心配していましたが、思ったよりアクセスがありませんでした…泣
作品の概要
ゲストはスマホまたはPCでサイトにアクセスすると、スマホに向かって声を出すように求められます。
声を出すと、声の高さに応じて黄色いインジケータが動き、声より少し高いピーピーという音が流れます。
そして同じ画面にはライブ中継で会場に置かれている鉄板の様子が流れ、鉄板の上の砂には声に反応して様々な模様が描き出されます。
※上の動画と内容は同じです。キモい声が流れます。
※黄色い丸は模様が出やすいポイントです。
※目玉ボタンを押すと視点を切り替えることができ、2つの視点からクラドニ図形が描かれる様子を観察することができます。
会場に設置している機械の動作する様子
システムの構造
構成はとてもシンプルで、ゲストの音声は会場に設置してあるホストPCにP2Pで送信され、ホストPC上でオシレーターの「ピーピー音」に変換後、アンプで増幅されて鉄板を貼り付けた振動スピーカーから流れるようになっています。
ゲスト側、ホスト側PCはVueベースで動いており、音声と映像の転送、シグナリングは、SkyWayというWebRTCのAPIを公開しているサービスの開発者向け無料枠を使って作成しました。
また、体験へのアクセスを一人づつ行えるようにしたかったので、SkyWayのDataConetionを使って接続している人数をホスト側PCで収集し、先にアクセスしてきたゲストからアクセス許可を出すように構成しました。
映像配信は一人づつしかしなかったので映像配信とアクセス許可の制御は一台のPCで行いました。
音声の分析と変換はWebAudioAPIのオシレータ機能を使いました。
とても開発しやすいSkyWay
SkyWayはNTTが開発しているだけあって日本語のドキュメントが豊富で分かりやすく、ジャパニーズ・オンリー・ネイティブには導入コストが低くとても良かったです。
リモートの作品を検討されている方は是非とも導入を検討されたら良いと思います。
音声変換の問題と懸念
人間の声は男性で500Hz、女性で1,000Hz前後の高さの音しか出せません。
ソプラノ歌手は2,000Hzまで出るようですが、訓練していない人にはなかなか難しそうです。
クラドニ図形は音が高ければ高いほど細かくて複雑な模様が現れるのですが、だいたい1,200Hzくらいから複雑で面白い模様が出てくる感じでした。
ぼくとしては複雑な模様が出てキレイな1,200Hzくらいからのクラドニ図形を是非とも見てもらいたいと思っていました。
そこでゲストからの音声をそのままピッチを上げたものを流せばなんとなるのではないかと考えていました。
ところが、実際にやってみるとあまり綺麗に模様が出ない。
模様が出ることは出るが、どれも似通った感じではっきりした形のものが出ない。
なぜきれいな模様が出ないのか。
原因を調べるために、ピッチを上げた音声をオーディオビジュアライザで見てみると、特定の周波数だけ綺麗に上がらず、割と広い範囲の周波数の音が同時に上がっていることがわかりました。
特定の周波数以外の音が同時に上がっている影響で鉄板がうまく共振してくれないのではないか考えました。
解決策として音声のピッチをあげた上に更に特定の部分だけ切り出して増幅させたら良いのではないかと考えて色々JavaScriptでコネコネしてみたのですが、継続してきれいな音が続かず、音が途切れ途切れになったりとあまりうまくいかず…。
ひょっとしたらやりようがあったかもしれませんが結局わかりませんでした。
あとそれから、変換の問題以外の懸念が一つ。
そもそも自分の声が遠く離れた場所で流れるという仕組みの展示は誰もやってくれないのではないか…？
それに『お医者さんを呼んでください！』とか言われてもどうしようもないので、そんな厄介事もシャットダウンしたい。
そこでそんな懸念も払拭するべく音声を加工して使うことを諦め、音声の中に含まれる一番大きな周波数を調べて、同じ周波数をオシレータから流すようにしました。
オシレータの音なので余計な周波数がふくまれず、少し数値をいじるだけで簡単に人の声の何倍もの高さの周波数を流せるようになりました。
オーディオビジュアライザで見ると特定の周波数の音だけが大きくなっている理想的なグラフが描かれているのも確認でき、狙っていた通りの細かな模様が出てくるようになりました。
そしてゲストが何を行ってもピーピー音に変換されるのでプライバシーも確保されました。
なぜかうまく行く『う〜』の声
ワンルームの自宅でひとり声を出し続けて実験をしているうちに、特定の声音だと波形がうまく出ることがあると気づきました。
たとえば、『あ〜』よりも『う〜』のほうがオシレータで生成される一番高い周波数の音が変動せず安定しているのです。
なぜだろうかと思って、オーディオビジュアライザで『あ〜』と『う〜』言った場合の波形を調べてみると、
『あ〜』だと
『う〜』だと
『う〜』と比較すると『あ〜』は音声に含まれる一番音量の大きい周波数が複数あり、声を出している間に一番の周波数が細かく変動するので、一番音量の大きい周波数をピックアップする今回の作品では音の出方が不安定になるようでした。
声には複数の周波数が含まれていて各周波数の音量の違いによって『あ』や『う』といった音の違いが出てくるというのはとても興味深かったです。
使った部品など
クラドニ図形を描くための砂（模型用の砂で何を買ったのか忘れた）
楽天で買った謎の激安振動スピーカー
ステンレス厚さ0.5ミリの板25x25cm
ホームセンターで購入
ステンレス板の片面を被膜が強いと評判のつや消し黒スプレーで塗装
音を増幅するD級アンプ TPA2006秋月通商
感想
実は過去にも声を出すコンテンツを作ったことがありましたが受けがあまり良くなかった覚えがあります。
きっと職場などでは声を出すことがはばかられたんだと思うんですが、今はリモートが多いので好きなように声を出せるはずだと制作したのですが、思っていたよりアクセスがなくて少し残念でした。
TwitterなどSNSなどの宣伝方法を使っていなかったのと、流入があたらしいふつう展しかなかったからなのかなと思っています。
次は何か宣伝方法を考えなくてはいけないです。
そして、緊急事態宣言中だったのでリアル展示の宣伝もあまり堂々とできず、実際そんなに来る人もおらず…
しかしながら他のSNACKS出展者の方と親交も深められ、6ヶ月ぶりくらいに家族以外と生で（モニタ越しでなく）お話しをして『ああ！楽しい！人間、楽しい！』となりました。笑
他にも作品を作る過程で沢山の気付きがあったり、Twitterでも見事な波紋を描いている方がいたり、面白かったとの声も直接いただけたので、次はもっと素敵なものを作れたらなと思っています。
