アニメーションと生演奏のタイミング合わせにライブで試したこと①

音楽家兼アニメーション作家として、音と映像がシンクロ＝同期する「音楽劇」というアニメーションを制作していますが、ライブでもアニメと生演奏のコラボを実現させたい！
しかし当然有無を言わさず進んでいく映像に、どうやって演奏のタイミングを合わせたら良いのか。いままで実際にライブで試してきた手法をいくつか紹介します。

１. 画面上の楽譜を見る

アニメーションの下部に楽譜をスクロール表示させて、目視でタイミングを合わせて演奏する。いわゆる「太鼓の達人」スタイル。一番原始的な作戦でしょうか。最初期はこれでライブをしていました。（動画 2:10～）

良い点

次に紹介する作戦よりシンクロの精度は低いのですが、
・演奏者と観客が同じ画面を共有している
・人力で頑張ってる感（たまにズレてしまうハプニング性も含めて？）
があってか、ライブパフォーマンスとしてはとても好評でした。

それと、アニメ再生のセッティングのみで準備が楽です（次策は大変）。

悪い点

目視でテンポを把握するしかないので、細かいタイミングをすべて合わせるのは極めて難しいです。
また、譜面を表示させる分、アニメの表示エリアが少し小さくなってしまう。画面を見続けていないとならないので演奏の手元が見れない、首が疲れる等々…。

スクロール表示に向いてる楽譜作り

一定速度で右から左へ楽譜をスクロールさせるために、各小節の幅を等幅に調整しています。一般的な楽譜作成アプリは、画像の上段のように各小節内の音符の数によって小節幅を自動伸縮してしまいます（本来はとても優秀な機能！）。これだと小節ごとにスクロールの速度を変えないとならないので、等幅になるように修正しています。

拍子カウンターの作成

上の画像にもあるように、楽譜の下にカウンターを点滅させています。音が出ないながらも、できるだけ拍子の取りやすいのはどんなパターンだろうかといくつも試行錯誤しました。最後に採用していたのは中央のバージョン。

２. クリックを聴きながら演奏する

クリック（＝メトロノーム音）をアニメーションの音声として埋め込んでおき、演奏者にのみ聞こえるようセッティングをしてそれにタイミングを合わせる作戦。業界的には最も一般的に行われている手法だと思います。

良い点

細かいタイミングまでぴったり合わせられる
楽譜を表示しない分アニメを大きく映せる

悪い点

耳元のクリックに集中するので、観客との一体感を得づらい
良くも悪くもハプニングが起きない（起きなくて構わないです）。
クリック音を分岐して再生するためのセッティングが必要（下記）。

クリック音を分岐して再生するセッティング

アニメの音声として埋め込んであるクリック音を演奏者のみに聴こえるように分岐しないとなりません。さらに、もし登場人物のセリフなど観客向けの音声も含んでいる場合はさらに複雑になります。
私が行っているのは、ステレオ音声のＬチャンネル（左耳）のみにクリック音、Ｒチャンネル（右耳）のみにセリフ等音声というように割り振って、それをオーディオインターフェースやミキサー等で分岐させて、奏者用のイヤホンと観客用のスピーカーにそれぞれ送っています。つまり各々はモノラル音声になります。

さらに発展させたシンクロ方法（予告）

１・２とも実際に何度も行ってきた手法ですが、より「ライブ感・アニメと生演奏の相互作用性の高い共演方法」はないだろうかと考え、現在もっとも力を入れている「生演奏の音に反応させてアニメーションの動きを制御する」という手法に行き着きます。
長くなるので次回（②）で詳しく書きたいと思います。

YouTube で「ミニ音楽劇」アニメーションを公開していますので、よろしければご覧ください！
https://www.youtube.com/c/studiopite3