DJ・ビートメーカーの為の新しい表現方法 -音と映像の同期-

noteをご覧の皆様、はじめまして。Hiroya Tanakaと申します。
普段は主にライブ配信に関わる映像の仕事や音楽家として活動しております。SUNNOVA(サンノバ)というステージネームでサウンドデザインや楽曲制作、downyというバンドでサンプラーやシンセサイザーを担当しています。

僕は映像と音楽の両方を生業としているので、この2つの親和性の高さは日々身をもって感じる環境にいます。
現にdownyはメンバーにVJを据える事で音だけを聴かせるよりも映像との相乗効果でより楽曲を際立たせる事に重きを置いています。
逆に映像メインの作品でも、音楽がより映像を際立たせる事に成功している作品が多く見られます。

国内外の音楽フェスでも、ミュージシャンのパフォーマンスに合わせて背景のモニターに映像を出す事が一般的になり、映像の演出も含めたチームで活動する事が珍しい事では無くなってきました。

僕は普段DJやソロのライブの時の映像は、VJさんにお任せしていました。しかし、映像音声の両方を自分でコントロールできた方が、よりクオリティの高いパフォーマンスになるのではと考え、ソロのライブパフォーマンスの時に使用しているAbleton LIVEというソフトを使ってこの課題にチャレンジしました。

なぜAbleton LIVEなのか

Ableton LIVE(以下LIVE)は一般的な音楽制作ソフトの機能である
①楽曲を作る事
に追加して(むしろ①以上の充実度で)
②ライブパフォーマンスの為の機能
に重きを置いた機能を有しています。

では②でどのような事が出来るかというと
・wav、mp3、aifといった音源を組み合わせて再生させる
・midiデータを使ってPC上の音源(所謂ソフトウェアシンセサイザー)や実機のシンセ、リズムマシンを制御する
上記2つの事が同時に、且つ複雑に組み合わせて実行できる事が可能です。

DJのように既存の楽曲データを再生しながらMIDI(=楽譜をデータにしたようなものです)データをリアルタイムに組み合わせる事ができるのがLIVEのメリットです。(しかもかなり直感的に！)

そしてLIVEを効率良くコントロールする為に(PC単体でもコントロールできるのですが)MIDIコントローラーという機材を使用するのですが、僕はLIVE専用に作られたコントローラーであるPUSH2を使用しています。

PUSH単体では全く音も出ません。あくまでPCで起動しているLIVEをコントロールする為の機材です。(=マウスやキーボードをLIVE用に使いやすくコマンドを割り当て直したものです)
downyのライブでPUSHを使って演奏しているのですが、あくまでPUSHは音源を鳴らす為のトリガーでしかないので、downyでの僕のパート表記はシンセサイザー、サンプラーになっています。(触るのはPUSHだけど鳴らしている機材はシンセだったりサンプラーだったり曲によって異なる為)

今回映像と音声を同期するにあたってMIDIという規格が重要になります。
先程も書きましたがMIDIはざっくり説明すると楽譜をデータ化した規格です。音階の他に曲のテンポや楽曲のスタートストップまでデータとして伝送する事が可能です。
そして昨今のVJソフトは、ほぼ100%と言っていい割合でMIDIデータのやりとりが可能です。つまり、LIVEで曲を再生開始するのと同じタイミングで映像のスタート、ドラムパターンを変化させるのと同じタイミングで映像を切り替えるといった事が割と簡単に出来ます。
僕が使用しているソフトはMax8というVJソフトではなく厳密にはプログラミングの為のソフトですが、VDMX、GrandVJなどのVJ用ソフトでも同じ事が出来ました。(僕がMaxを使う理由は映像以外のプログラミングも勉強したかったからという単純な理由です)

この記事では映像の自動生成などのテクニカルな部分は割愛しますが、映像と音声をシンクさせるという部分に関しては、LIVEとVJソフトのMIDIの設定を合わせる(チャンネルを合わせる)事で簡単に同期できました。

このMIDIという規格は、DJ用のソフトウェアにも搭載されている事が殆どなのでトラックメーカーだけではなくDJも楽曲と映像を同時にコントロールする事にチャレンジしたらもっと表現の幅が広がって面白くなって来るのではないかと思います。
細かい設定方法などはリクエストがあればいつかnoteに書きたいと思います。

最後に、CINRAさんが主宰したオンラインフェスでソロパフォーマンスした時の動画を下記にアップしました。
downyの7thアルバムの楽曲を素材に使って新しい音のパーツを作って、映像と音を両方ともリアルタイムで制御したパフォーマンスです。
もし興味のある方がいらっしゃれば、支援の意味でサポートしていただけますと幸いです。
また近々、様々なテーマでnote投稿する予定ですので引き続きよろしくお願い申し上げます。
↓↓CROSSING CARNIVAL'20 -online edition- SUNNOVAソロパフォーマンス