Text2Motion：BPMは使えるのか？ひふみ祝詞

Text2Motionで太極拳のモーションを自動生成してみて痛感したのが、音はめが難しいな、ということでした。

太極拳なら太極拳用の音楽がいろいろあるし合わせやすいだろうと思っていたのですが、エクササイズの太極拳じゃなくて組手っぽい太極拳だったので音楽を合わせにくかった…。

紙芝居を作るプロデュース力も、既存のモーションに音をはめる技術も持っていないのなら、最初から音に合わせてモーションを作ってもらったほうがいいのでは…。

で、AIがBPMを考慮してモーション作ってくれるかどうかはわからないながら、とりあえず使いたい音源のBPMを測って指定することにしました。

とりあえずの目標はこれだ！

球体関節アマビエさまx2【初音ミク】ひふみ祝詞【輪唱】BJD Amabie's prayer dance (HIHUMI Norito by MIKU) - YouTube

毎朝、散歩のときに公園から見える青島に向かって唱えている「ひふみ祝詞」。いろいろなモーションを合わせてみているけれど、オリジナルモーションを作ってみたい。
ゆるやかな曲だからゆるやかなモーションなら合わせやすそう。

元歌はこちら。

【初音ミク】ひふみ祝詞【輪唱】 - ニコニコ動画

BPMは95でした。

こちらのソフトで調べました。

無料 BPM 測定ツール - 無料＆オンライン - AudioDirector Online

AudioDirector Online

今回は10モーションを同時生成してみました。モーションを生成し始めてからだいたい30分かかりました。

次の動画は音楽の開始時点などにおかまいなく、最初から10個のモーションを単純につなげたものです。

MMD Text2Motion WIP（MDM: Human Motion Diffusion Model)：【初音ミク】ひふみ祝詞 - YouTube

01モーションはじたばたしてますが、概して緩やかなモーションが多くて音楽に合わせられるかな、という感じでした。
一応、BPM見てくれたのかな？

次に、ちょっと動きが激しい01モーションを外し、音楽開始時から02～07までモーションをつなげて十二単モデルに流し込み。
終フレームの次が開始フレームでなんかぎくしゃくしてますが、背景、エフェクト、カメラでごまかせばなんとかなりそうなレベルにまできたかな？