特別企画「震災と未来」展 の裏側で利用した技術📝

先月から日本科学未来館さんにて展示予定だった、NHKさんの『特別企画 「震災と未来」展 ～東日本大震災９年～』にて、PARTYは企画から実装まで関わらせていただき、私は展示の一角の「記憶の街」というインスタレーションの実装を担当しました。（カバー画像は日本科学未来館さんのFBページより）

残念ながらコロナウィルスによる臨時閉館期間が長く、本展示は一般公開されることなく終了してしまいました。誰にも見られないままなのはあまりにも悲しいので、せめて本記事で実装に利用した技術を紹介したいと思います。（コンテンツ自体の説明は日本科学未来館さんのHPをご覧ください。）

技術的要件💻

本展示にて必要だった技術的要件は以下の通りです。

* 会場の照明制御
* 大型模型へのプロジェクションマッピング
* 壁面への映像投影
* マルチトラックのオーディオ出力
* 上記すべてを連動したシーケンスとする

センサー等を用いたインタラクティブなコンテンツは存在しなかったので、基本的には決まったシーケンスをループして流す構造になっています。そのため、以下のようなソフトウェア・ハードウェアスタックを採用しました。

Ableton Liveですべてのシーケンスを組み、そこから各種プロトコルの信号を出力し、Touch designer、Resolume Arenaにて受信、それぞれのコンテンツを出力するという流れです。

また、会場には「トンネル」と呼ばれるエリアがあり、こちらは小型のアクティブスピーカーを複数台配置しています。（写真は日本科学未来館さんのFBページより）

ここは別途PCを用意し、Touch desinerにて音声出力の制御を行っています。

ここから各パートの解説です。

照明制御🔦

Ableton Liveのオートメーションをmax for liveを利用してOSCとして出力し、Touch designerでDMX信号に変換を行っています。Liveの画面上で照明の強弱やタイミングを視覚的に調整できるので、シーケンスは組みやすい一方で、微妙な光量や色の調整には向かないので、Touch designer側ではデバッグ（手動）モードを用意する必要がありました。

模型へのプロジェクションマッピング・壁面映像🎥

マッピング・壁面映像に関してはResolume Arenaにて行っています。

壁面に利用するプロジェクターは2台あったため、Arena内のスライスを用いて2台分の映像に出し分けしています。ブレンディングはハードウェア側で予め行っていただいていたので、苦労なくピタリと映像を出力することができました。

マッピングに関しては大まかな位置だけハードウェアで合わせていただいてからソフトウェア側で補正をする形を取りました。

各映像の制御はLiveのMIDIトラックから送られてくる信号をアサインして行っています。

マルチトラックのオーディオ出力🔈

こちらは素直にLiveから出力しました。トンネルエリアに関してはシーケンスすら存在しない独立したループものだったので、Touch designerからの直接の出力で賄いました。

設営時の苦労😫

と、すらすら実装していったように書いていますが、普段ソフトウェアエンジニアをしている自分にとっては未知の領域が多く、それ故苦労した点も多かったです。以下はその一例。

DMXのチャンネル構成は設営当日までわからない😇

これは当たり前かもしれませんが、現場で照明の設営をしていただいているスタッフの方から当日チャンネルの構成を教えていただき、その場でTouch desingerでアサインを書くというやり方に驚きました。（結局弊社TDにやっていただいた、、、）

模型が図面を元に用意した映像と全然合わない😇

今回のプロジェクションマッピングは、事前に模型の図面をもらい、それに基づいた映像を用意していました。
しかし、手作りの模型のためどうしても図面と合わない箇所があり、映像と噛み合いません、、、

結局その場で模型に合わせたライン取りを手書きで行い（イラレから書き出した画像をプロジェクションしながら模型に合わせてラインを書き込んでいく）、そのデータで映像を再度作り直していただくことになりました。（幸い影響範囲は小さかった）

アクティブスピーカー、すぐスリープする😇

ロウソクのような雰囲気の照明が内蔵されていることから、今回の展示内容に合うと採用したアクティブスピーカーですが、一般向けの製品のためアイドリングが一定以上あると電源がオフになる便利な機能がついています。
しかし、展示の場合にはありがた迷惑な機能でもあります。こちらはTouch designerから常に人間の耳では聞こえない高周波音を出力することによってスリープを回避しました。

Liveの音声出力が途切れる😇

Liveの動作が不安定になることがありましたが、これはLiveの環境設定にてバッファを最大にする、デフォルトSR＆ピッチ変換を高品質から標準品質にする、windowsの電源管理にてハイパフォーマンス設定にすることで解決しました。

おわりに👍

展示案件は普段業務で行っているソフトウェア開発とは全く勝手が違い、不確定や予想外の要素が多くかなり神経を使いました。
とはいえネガティブな思いはまったくなく、刺激的な良い経験をさせていただきました。

展示に関わった関係者の皆様、本当にお疲れさまでした。そしてありがとうございました。

今回の案件は残念ながら一般公開されることが無かったのですが、今後もこういったジャンルの案件には積極的に参加し、その舞台裏は随時noteで書いていきたいと思いますので、次回にもぜひご期待ください！

展覧会概要
タイトル：特別企画 「震災と未来」展 ～東日本大震災９年～
会期：2020年3月7日(土) ～ 4月5日(日)　※展示公開は取りやめとなりました。
開催場所：日本科学未来館 1階 企画展示ゾーン
主催 ：NHK、日本科学未来館
協力：「失われた街」模型復元プロジェクト実行委員会、神戸大学減災デザインセンター(CResD)、一般社団法人 SAVE TAKATA、一般社団法人ふるさとの記憶ラボ