参加型VJパフォーマンス「KOTOBASHIRI」制作後記

DHU合格者懇親会「DHU GREETING PARTY 2022」のコンテンツとして「KOTOBASHIRI」をDHU映像表現実践ゼミで企画・制作しました。

KOTOBASHIRIとは

入力したコトバをヴィジュアル化しVJ空間を走らせるというコンテンツです。
今回は合格者懇親会用のコンテンツ企画という事で合格者達がデジタルハリウッド大学への入学の意気込みや大学で叶えたい夢といった内容のメッセージをテーマにしました。
それぞれの大学への想いや熱意を可視化し一連のパフォーマンスとしてLIVE配信に乗せる事で「みんなの決意表現をクリエイティブに昇華した」コンテンツになります。

リアルタイムでインタラクティブなパフォーマンス

企画の肝は誰でも参加できるインタラクティブなパフォーマンスであるということ、さらに言うとリアルタイムで行う事です。
私自身大学生活で課題に思った事の一つに、学年全体で取り組むクリエイティブと言うものがあまり無い様に感じる事がありました。
そこで今回、合格者懇談会でパフォーマンスをする事になり「せっかくなら合格者達に大人数で作り上げる物に参加してほしい」と思いKOTOBASHIRIを企画しました。
直前のアンケートに答えるだけで自分の言葉が演出の一つに組み込まれる、先輩が作ったシステムに新入生達の言葉が演出として出る事で、学年の壁を超えた大人数で作り上げるパフォーマンスにしたいと思い作りました。

誰でも気軽に参加できるコンテンツに

大前提として簡単に参加できるというUXを意識しました。
参加するにあたって使用したツールはGoogle formです。
Google form上に予め入れて欲しい言葉を誘導できる様な設問、ヴィジュアル化した時にバランスが崩れない文字数を考えアンケートフォームを作成しました。

また、タッチデザイナー上で文字をより際立たせる動かし方を意識しました。
今回は配信でのパフォーマンスなのでVJとしての素材選びやスイッチングというものは打ち合わせはコトバの演出を多めにするという事以外特に決めずLIVEならではの雰囲気を重視しました。

さらにパフォーマンスをするにあったて背景セットにも拘りました。
様々な色に変化するRGBライトを卓の周りに複数配置する事でサイバーな雰囲気作りをしました。
また、モニターを背後に3つ配置しそこにも映像を映す事で実写映像にスイッチングした際の雰囲気作りにも注力しました。

リアルタイムとプリレンダーの両立

今回のパフォーマンスではリアルタイムで動かす事と予め決めておく事の配分に苦戦しました。

パフォーマンスの大まかな流れとしてはまずGoogle formでアンケートに答えてもらいアンケート結果をGoogleスプレッドシートに落とし込みます。
そしてスプレッドシートのCSVファイルをタッチデザイナーに読み込む事で入力してもらったコトバをヴィジュアル化しVJ素材として扱う事ができます。
さらに予めBlenderで作成したCG背景やアニメーションのVJ素材と3カメ分の実写映像（手元やパフォーマンス風景を映した映像）を音楽に合わせスイッチングをしました。

パフォーマンスの流れの中で一番苦戦した所はVJ素材をどこまでリアルタイム化させるかという事です。
当初は音楽に合わせて変化するオーディオリアクティブを用いたCG、決められたものをこちらのタイミングで生成する、コトバのヴィジュアルの種類や動きの選択肢を複数作るなどをチーム内で話していました。
しかし制作を進めていく中でシステム作りやVJ素材作成に苦戦する事もあり、3分弱のパフォーマンスの中で演出の優先順を決め、尚且つ限定する必要がありました。

そうした中で実装できたのがコトバが迫りくるモーション、CGアニメーション、パフォーマンスの手元を映したカメラです。
コトバの動き自体は予め決められた動きですが、出てくるコトバはリアルタイムで引用しています。
CGアニメーションも素材自体はプリレンダーですがタッチデザイナー上でエフェクトをかける事で演出としてはその瞬間の雰囲気に合わせたリアルタイムな物になりました。
また3カメ分の映像出力はATEM miniに入れタッチデザイナーに出力しました。今回の実写映像は完全にリアルタイムで演出する事ができました。

まとめと次回への展望

今回のパフォーマンスを企画するにあたって当初はリアルとオンラインでの同時並行で進むクリエイティブを考えていました。
しかし情勢もあり今回はオンラインLIVE配信のみで実施する事に。
このKOTOBASHIRIというコンテンツはリアルでも楽しめるコンテンツだと思っています。
目の前のディスプレイに自分が打ち込んだ文字が様々な形で出てきて目の前のMIDIコンを触るとエフェクトがかかるといった体験方法があると思います。
制作メンバーからも「ここはもっと違うエフェクトができた」「今度はこういうVJ素材を使いたい」といった声があります。
機会があればもっとブラッシュアップをした状態でいろんな人が目の前で触れることのできる展示にしていきたいです。

(制作後記執筆：あるとき）