歌詞が踊るような動画をつくるには？

前回、USB MIDIキーボードで作曲するには？｜akram (note.com)を書いた後、ワークフローをいろいろ試しています。LMMS,Cakewalk,MPC Beatsそれぞれ様々な機能があって曲がまとまらないので、昔つくった曲を打ち込んでイメージするものがつくりやすいか試しています。

まずLMMSから。なかなかイメージする音色の組み合わせができないので、midiで書き出してcakewalkで読み込むも鳴らず。インストルメントトラックにドラックして移したら鳴った！ cakewalkはテンポをだんだん遅くしたりできるのがいい。表示＞テンポでテンポトラックがでる。（Alt+shift+5）

Cakewalkのテンポトラック

MPC Beatsにはmidiファイルがインポートできない
LMMSにmidiをインポートするにはmidiサウンドフォントをダウンロードして設定する必要がある。

VOICEVOXで歌わせたwavをCakewalkに読み込んでみたがいまいち。調があってない。VOICEVOXのキャラクターはそれぞれ出やすい音域があって、全体を3度下げたりして調整するので、DAWに戻す時は伴奏データも同様に移調しなければなりません。

ミュージックビデオにまとめる際に、最近よくある、歌詞がメロディにあわせて大きくなったり、跳ねたり、流れたりするヤツ、なんのソフトで作っているのだろう？と思ったわけです。

検索すると、TextAliveが使えそう。「TextAliveは、ウェブ上に公開されている音楽に合わせて歌詞が動くリリックビデオ（歌詞アニメーション）をブラウザ上で作れる制作支援サービスです」。国立研究開発法人産業技術総合研究所が運営しています。

TextAliveを利用（ログイン）するには、Songleとpiaproのアカウントをつくるのがよさそうです。TextAliveで動画を生成させるにはSongleに登録されている楽曲である必要があるからです。「Songleには音楽理解技術が備わっており、Aメロ・Bメロ・サビといった繰り返し構造や、ビートの位置・コード進行・ボーカルの音高などを自動的に解析して表示することができます。」
コードが分かるんだ！

Songleの解析画面

「piapro（ピアプロ）とは、ネットに分散しているクリエイター同士がお互いの得意なコンテンツ（音楽、歌詞、イラストなど）を投稿し合い、協業して、新たなコンテンツを生むための"創造の場"を提供するサイトです。」
自分で全部つくるのもいいですが、曲だけアップして、詩やイラスト募集してコラボするのも楽しそう。

昔つくった曲をLMMS,Cakewalk,VOICEVOXでざっくりつくり、Songleに登録、TexAliveで生成させたのがこちらのテスト動画。ClipchampでAI画像と合成しています。タイミングは微調整できるようです。

背景透過フルHDでレンダリングしたのですが、Clipchampで合成がよくわからず、透明度とブレンドモードでAI画像を透かしています。

と、試行錯誤はつづきます。