With作品解説～IKEBANA(ReBuild)編③～
展示会『With』を開催しました
2023年9月にメディアアート集団「WONDEMENT」を立ち上げました。
↓下記noteで設立の細かい話をしています。
そして2024年3月23〜24日の2日間に渡ってWONDEMENTとして2回目の展示となる『With』を代官山のギャラリー「UPSTAIRS GALLERY」で開催しました。
本展示では4つの作品を展示し、自分が全体のプロデュースと2つの作品制作に携わっています。
今回はその『With』で展示し、自分が制作に携わった「IKEBANA(ReBuild)」の作品解説続編です。
前回はArduinoで取得した重量の数値をTouchDesignerで取り込む方法や、3Dモデルの話などをしてきました。
今回はその重量の数値を使った重量差の計算や、花瓶に挿した棒の種類を特定する仕組みの作成、その他の部分についてもまとめて解説していきます。
Logic CHOPで重量差を判別して棒を特定する
Serial DATを使うことでArduinoとTouchDesignerをシリアル通信させ、ロードセルを使って取得した重量データをTouchDesignerにインポートして値を調整することが出来ました。
ここからは現実の花瓶に何の棒（何の花と紐づく棒）が刺さっているのかを特定する仕組みを作成します。
第一回でも解説しましたが、その特定には重量差を利用します。
10g増減したらAの花を出現・消失、20gでればBの花といった具合に棒ごとに重量を少しづつ変化させることで判別する仕組みです。
重量差を求める
重量差を求める仕組みはこうなっています。
Delay CHOPとComposite CHOP使っています。
Composite CHOPにはリアルタイムの重量の値とDelay CHOPを使って1秒後の重量の値をインポートし、「Base Hold」の値を"-1"とすることで引き算出来るようにします。
これでリアルタイムの重量から1秒前の重量の差分を抽出することが出来ます。
重量差を検知する
次にこれを使って花瓶に刺さった棒を検知します。
例えば「バラ」と「菊」の2種類があった場合、
「バラ」=100g
「菊」=90g
という風に花に見立てて花瓶に挿す棒の重量に10gの差を持たせます。
ここでLogic CHOPを使い、差分が+10gになった場合に0から1を出力する仕組みと、-10gになった場合に0から1を出力する仕組みを作成します。
この２つをCount CHOPにつなげると
こうすることで
・棒を花瓶に挿す→カウントが0→1になり対応する3Dモデルが出現
・棒を花瓶から抜く→カウントや1→0になり対応する3Dモデルが消える
という挙動を作ることが出来ます。
Logic CHOPは検知する値に幅を持たせることが出来ます。
ドンピシャで10gにすると検知しない時があるため、±1gの幅を持たせることで検知する率を高めています。
あとはこの仕組みを必要な花の種類分のみ作成すればOKです。
3Dモデルを表示・非表示させる
次はCountの値に紐付いて3Dモデルを表示・非表示させます。
モデルを非表示にするにあたってモデルを表示させているActor COMPの「Active」以外にも、モデルデータをインポートしているFBX COMPやその中にあるテクスチャ（MAT系）の透明度（アルファ）などをCountの値と紐づけています。
無理矢理感がありますが、これで重量差を使った3Dモデルを表示したり非表示にすることが出来ました。
プログラミングが出来れば簡単なのかもしれませんが、プログラミングが書けない人でも仕組みが作れるという点はTouchDesignerの魅力を発揮出来たところだと思います。
2Dエフェクトの作成
現状のこの仕組みだとモデルが0,100と切り替わって突然出現する様になってしまいます。
本当はフェードイン/アウトさせたいのですが、設定項目が見当たらずこういった仕様になってしまいました。
しかしそれだけでは寂しい感じがあると共に、後述のホログラムがそこまで大きくなくしかも暗いため、花の色によっては出現したのか見えにくい課題もありました。
それを解決するために花が出現すると同時にエフェクトが流れる様にしています。
エフェクトはAfter Effectsで作成し、背景をアルファで抜いたProres形式の動画データをTouchDesignerに取り込んでOver TOPで合成しています。
このエフェクトの動画は各花ごとに作成し、前述のCount CHOPと紐づいているため、花が出現すると自動で流れるようになっています。
ホログラムで立体的に
ここまで来たらあとは出力です。
今回、3Dの生け花を現実とリンクしている様に見せたいということで、
表示方法もできる限りリンクしている（実際に存在している）様に工夫したいと考えました。
そこでペッパーズゴーストという錯視トリックを使ったホログラムを採用しています。
見づらいですが、このメモの右下の図のようにアクリルなどの透明なものを45土に設置することで上または下に設置したモニターの映像が正面から覗くと見えるという代物です。
原理としては100年以上前に考案されている古い手法ですが、低コストでホログラムを作成できる魅力的な表現方法です。
今回は木の板でこの字型に箱を作り、その上にモニターを乗せて映像を表示し、斜めにプラスティックの板を設置することでホログラムで見えるようにしています。
モニター映像表示はTouchDesignerのWindow COMPで外部モニターに表示し投影しています。
諸々合成などしたTOPをWindow COMPにインポートしている訳です。
反省点や感想
ここまで作品の制作過程について長々と書いてきました。
ここからは制作する中での反省点や感想を書いていこうと思います。
反省点
もっと洗練させたかった
生け花に見立てた棒を純粋にもう少し洗練されたものにすればよかったと思いました。
だとえば、先程のこの写真にペットボトルが映り込んでいます。
これはモニターが乗ったことでバランスを崩さないように支えるための重しとして使っている重り代わりに使っていたペットボトルなのですが、もう少しちゃんとした箱の様にしてこの重りを隠すなど”見栄えの良さ”を追求できればよかったなと感じました。
なかなか「そこまでの予算が無かった」という苦しい理由も背景にあるのですが、もう少しまとまった見た目にできればよかったなというのが後悔した点です。
重力センサーのキャリブレーション
今回使用した重力センサーは時間が立つと徐々に数値がずれていってしまいました。
その対策として後から数値を足し引きしてズレを補正する仕組みを組み込み大きな問題にはならなかったですが、定期的に目視で画面を見てズレているか確認する必要があったため、ズレないような工夫をするか自動で補正してくれる様な仕組みを組み込みたかったなと感じました。
感想
プログラミングやarudinoといった新しいデバイスの利用など、初めてのことで苦戦しその分他の所を対処できる時間と予算が確保できなかったなという感じです。
ただ、反省ばかりではなく、トラブルが起きた際に用意に解決できるように単純化出来ていた点は良かったです。
前述のセンサーの数値が時間経過がずれる現象もそうですが、
これが起きたら、これが原因であれば、ここをいじれば直せるという状態に出来たことは大きいです。
重量差の検出など、プログラミングが出来れば簡単かもしれませんが、出来ない自分でもそういった仕組みをTouchDesignerを使えば出来るという点は前述の通りTouchDesignerの魅力を発揮出来たと感じる部分です。
最後に
作品として新要素や新たしいデバイスが盛り沢山だったので長くなってしまい、全3回に分けて作品解説をお届けしました。
現在WONDEMENTは次の展示に向けて着々と準備を進めています。
近い内にアナウンス出来る予定なのでそれまでお待ちいただければと思います。
それではまた！
この記事が気に入ったらサポートをしてみませんか？