僕らが作った作品　その2　月例展示会編　by プロジェクションマッピング

始めに

こんにちはSUKEです。
初めて見ていただいた方もいるかもしれないので簡単に自己紹介をさせていただきます。
私は現在、東京のとある大学の芸術系学部で映像表現やコンテンツ企画を学んでいる大学四年生です。
また「Mapper」というメディアアートサークルを立ち上げ、現在代表として作品制作や指揮を行っており、そのサークルに入ってくれた後輩やメディアアートに興味がある・作ってみたいと思っている人に向けて制作フローや技術を伝える目的でnoteを書いています。

今回からはメディアアートサークル「Mapper」が開催した正式な展示会にて制作、発表を行った作品の紹介を一つずつしていきます！

作ったもの

『動くモナ・リザ』
使用機材：プロジェクター、額（A4）、iPad（iPad Pro2020 11inch）
使用ソフト：MadMapper（プロジェクションマッピングソフト）、PhotoShop、3tene、3teneFT、Adobe AfterEffects（額縁映像の制作）

これは私が代表を務めているメディアアートサークルMapperの第二回展示会「Second vol1」にて展示した「動くモナ・リザ」という作品です。

概要

市販のA4サイズの額にプロジェクターで映像を投影し、マッピングソフトで額の形に映像を変形させています。

投影しているモナ・リザも単に画像を表示させる訳ではなく、LIVE2Dとという一枚絵からアニメーションを作成するソフトと3TENEというフェイストラッキングによってアニメーションを自由自在に動かすソフトの二種類を使用して、「実際に作品を観覧に来た人が額縁の中にいるモナ・リザを動かす」という体験を可能にしています。

制作の流れ

自分やMapperとしては従来のプロジェクションマッピングではなく、「人が作品に干渉できるモノ」を作りたいという流れに移りはじめたことから、インタラクティブアートと呼ばれるジャンルに挑戦することとなりました。
その中で生み出された作品がこの『動くモナ・リザ』です。

最初に
コンセプトが決定してから最初に行ったのは、モナ・リザを動作させるための仕組みを考えることです。
基本的に私やMapperは「既に習得した技術で作品を制作する」のではなく、
「作るものを決めてから必要な技術を習得する」という形式を取っています

これには「技術を限定すると作れるものの幅が狭くなる」という考えと、
私自身の飽き性な正確が起因していると思います…

仕組み作り
モナ・リザをコンセプト通りに鑑賞者が自由に動かせる仕組みを考えることは、そこまで難しくありませんでした。
理由としては過去に私含め制作メンバーが大学のゼミでVTuber制作に関わっていたからで、その時にキャラクターイラストからLIVE2Dを使用して動作できるようにした経験がありました。
そこで今回も同様に、Photoshopでモナ・リザの一枚絵をパーツごとに分解し（ここが大変な部分ではありますが…）LIVE2Dで動作を作っていくという形式を取ることになりました。

どうやって動かす？
アニメーションを作る方法はLIVE2Dで確定したものの、進めていくうちにそれをどの用に動かすのかという部分に課題が出てきました。
ゼミで制作していた際には、FaceRigというソフトを使用してパソコンに付いているWEBカメラからフェイストラッキングを行っていました。
しかし今回の作品で使用するPCがMacだったことで、Windowsでしか利用出来ないFaceRigは使用出来ず、別のソフトを活用する必要が出てきました。

そこで出てきたのが3TENEというソフトです。
VTuber向けのソフトであり、2Dや3Dのソフトを動かすためのソフトであったことと、LIVE2Dで制作したデータとも親和性が高いこと、そして何よりもIPhoneやiPadを活用して高精度のフェイストラッキングができることが決めてとなりました。

全体のシステム

今回の『動くモナ・リザ』のシステムはこの様になっています。
（分かりづらかったらこめんなさい…）

基本的にIPadのTrueDepthカメラ（iPhoneにもあります）とiPad版3teneFTを使用して人物の顔をトラッキングし、
Macでそれに基づいたアニメーションの作成（3tene）と映像の合成・マッピング、プロジェクターへの出力（Madmapper）をしています。

ブース撤営
前回の展示ブースを流用したため、設営にはそこまで時間はかかりませんでした。（下の写真のようになりました）

最後に

今回は実際に制作した作品二点目である『動くモナ・リザ』について書いてきました。
前回の「見る作品」とは異なり「参加できる作品」へのチャレンジとして制作した本作品ですが、後にリバイバルしたバージョンも含め学生や教職員の方々からもかなりの高評価をいただいていることから、メディアアートの醍醐味は参加出来る部分にあるのでは無いか、「体験」を提供するためには実際に触れて、参加してもらうことが一番の近道なのではないかという、現在私が思うメディアアートの形の原型にもなっている作品です。

次回も引き続き展示会で制作した作品の紹介やその制作フローについて書いていきたいと思います。

Twitterやっているのでフォローしていただけるとありがたいです！
（現在進行系で制作している作品の経過や展示会の風景などを発信しています）
https://twitter.com/Suke_Photo_