VJ(Video Jockey)について調べてみた。

チームラボ の作品をみたときに、いつかデジタルを使った作品を作ってみたいという思いがあり、ちょうど芸術祭のボランティアをする機会があった時に映像演出をしていた方と話をする機会があり、そのときに初めてVJというものを知りました。

VJ(Video Jockey)とは、 DJと同じように映像を組み合わて切り替えて作品を演出する人です。昔は、機材としてビデオが用意して、スプリッターを介して切り替えて演出していたのが、PCの性能が上がっていくにつれ、映像を重ね合わせて切り替えることができるようになってきています。ライブシーンで演出するような高度なことはできないけれど、自分が興味があることを見つけたくなったので、どんな環境で作られるのかざっくりと調べてみました。

1. ソフト

大きく分けて演出をサポートするエフェクトなどの素材を作るソフトと、映像を切り替えたり投影をサポートするソフトの２種類があります。

投影をする方として３種類あります。

1. クリップ系

タイル状に並んでいる映像を選んで出力する

2. DVJ系

DJと同じようにVJを扱えるソフト、音楽に合わせた切り替えができる。

3. ビジュアルプログラミング系

用意されているパッチと呼ばれる部品を組み合わせて繋いで生成する。Azure Kinectなどで動作を検知して動作させることもできる。

プロジェクションマッピング

作成方法

1. 投影したい場所を決めて素材を集める

2. 素材を組み合わせてストーリを組む。

3. 投影する場所をキャリブレーションし、位置合わせする。

演出方法

・イメージマッピング
対象物の形状に合わせた静止画像や映像を投影する。
・シューテングギャラリー 
対象物に対してインタラクティブな要素を組み込んで演出する。例えば、映像に映し出されたボールをカゴでキャッチすると反応するようなゲームなど。
・フロアマッピング
プロジェクションマッピングを床に適用する方法で、床全体を使ってインタラクティブな映像やエフェクトを作成できる。

モーションキャプチャ

ものの動きをデジタルに変換する技術。光学式、慣性式、ビデオ式に分かれる。
光学式は、光を使って足や手などの位置を捉え、その位置を算出し、3次元化する。
慣性式は、ジャイロセンサを用いて角速度、方位、位置を取得する。その後、骨格モデルの各セグメントとジョイントする動きに置き換えることで位置、姿勢を検知する。
ビデオ式は、複数台のカメラを用意して、撮影された画像から対象物と背景を分離させる。抽出されたシルエットを用いて骨格モデルを作成する。

参考リンク

ゼロから始めるVJ講座
miwa maroon
モーションキャプチャ概要
ごーぐる部-「ゼロ（円）から始めるVJ生活」