身体のジェスチャーで映像と音を制御する方法 / 夏の自由研究 #2

こちらのnoteの続きです。

前回のnoteでは、ORBAを使ってAbleton LIVEのサウンドをBluetooth経由で鳴らす手順を記載しました。

ORBAで映像も動かせるか試してみた

ORBAとMacはBluetoothで接続され、MIDIという規格の信号を送受信しています。MIDIは音楽制作では一般的に使用されている規格です。
↓MIDIの説明はこちら
https://ja.wikipedia.org/wiki/MIDI

MIDI（ミディ、Musical Instrument Digital Interface）は、電子楽器の演奏データを機器間で転送・共有するための共通規格である[1]。日本のMIDI規格協議会（JMSC、現在の社団法人音楽電子事業協会）と国際団体のMIDI Manufacturers Association (MMA) により策定され1981年に公開された。

一般的なVJ用のソフトウェアや、最近だと放送局で使用する映像スイッチャー(複数のカメラの映像を切り替える機材)もMIDIで制御できるくらい一般的な信号規格です。

過去に公開した動画ではUSBケーブルで接続したコントローラー(Ableton PUSH2)でオーディオと映像を同時に制御する事には成功していました。
過去にnoteで紹介したZwobotというツールを使用します。

今回は今まで有線ケーブルで送っていた信号が無線(Bluetooth)に変わっただけなので、丁寧にAbletonの設定をセッティングすれば問題なく映像も動かせる筈。。。

動いた！！
この動画を撮影した時は、多少設定の追い込みが甘かったので自分が意図したエフェクトとは異なるモーションもありましたが、今後設定を細かくチューニングすればもっと繊細なモーションにも対応できます。

既存のツールの組み合わせで解決できる

はじめは無線のコントローラーを使ってオーディオビジュアルのパフォーマンスをする事に壁を感じていました。
しかし、前回のnoteに書いた内容も含めてひとつひとつ丁寧に検証していくと、元々自分が使っていたツールや、メーカーが提供しているアプリケーションを組み合わせる事で無理なコストを掛けずに目的を達成する事ができました。

今後は精度を高めて本番のパフォーマンスでも使用できるようにしていきます。このプロジェクトの映像収録は9月に行われる予定なので、映像が公開されたらまたnoteで紹介します！