Text2Motion：太極拳

Miuさんが作成した文章からモーションが生成出来る「Text2Motion」、オンライン（Colab）版ベータ、試してみました。

呪文は単純。

Woman doing Tai Chi.
（太極拳をする女性）

生成したモーションは3つ。1が太極拳っぽく、2は回し蹴り、3はほぼ静止していました。前半は3つのモーションを球体関節人形モデルに流し込み単純につないで若干カメラを調整したもの。後半は自動生成された棒人形モーションです。

その後、10個まで一度に生成できるとわかり、リテイクしてみました～。

太極拳は曲がないからBPM取れないと思ったのですが、毎日、公演でやっている太極拳は頭の中で陳情令の無羈を流しているのですよね。テンポに緩急あったりしますが…。で、
The Untamed (無羈) by WangYibo 王一博
のBPMを取りました。

呪文にはエクササイズ入れてみたのですが、蹴りが減った？

A woman doing Tai Chi exercise. Tempo is 90 BPM.

それでエクササイズを抜いてTake3

魔道祖師モデルに何人か流し込んでみたのだけれど、継ぎ目で動きが急になって着衣が乱れるのをよう修正できんやった；；ひらひらしてない子に入れてみよう。

一般配布開始～。解説付き。そういうことだったんか～。

文章からモーションを生成出来るColabページを作ってみた【ツール配布】【Text2Motion ver1.00.00】 - YouTube

Text2Motion の一般配布を開始しました！
文章からモーションを自動生成し、それをJSONやVMDモーションに変換できます。

■Colabページ（日本語版）https://t.co/3TbMLshQDI

■Colab Page（English ver）https://t.co/MP7sg64Qbk pic.twitter.com/CWBolXSWK3

— miu (@miu200521358) October 25, 2022

文章からモーションが生成出来る「Text2Motion」、オンライン（Colab）版ベータテスト開始しました！
vmdの他、jsonデータも出力しているので、他ツールでも使えると思います。

ニコニコミュニティ（自動承認）にてβ版配布中です。https://t.co/tEvCWr0Jbw pic.twitter.com/9Twd6GEMYQ

— miu (@miu200521358) October 22, 2022

こちらは最初に作ったモーション1だけのもの。

Colabはモーションオートトレースで利用したので比較的なれていてスムーズに生成できました。

指定されたページを順番に読んでいって、必要な環境を整え、あとは指定通りにセルを実行していくだけです。

動作を行う秒数はスライダーで指定。とりあえず最大の9.8に。
生成個数は「同じプロンプトでも実行する度に結果が少し変わります」ということでデフォルトは2だったのですが3にしてみました。
時間がかかるかと思って3にしたのですが、あまり時間がかからなかったので、もうちょっとたくさん作れそうです。

まず、動画をつなげられるようにならなければ；；
今回はとりあえずWindows10のフォトを使って、MMD球体関節モデルに生成されたモーションを流し込んだ動画とオリジナルで生成された棒人間の動画をつなぎ合わせました。

Windows 10フォトを使って動画と動画を結合する

Windows 10フォトを使って動画と動画を結合する