LUMA AI のDream Machine でText to Motion を試しましたが...。【情報訂正あり】
こんな記事を拝見したので、Stable Diffusion 3 の 描画質感について記事化
する予定に割り込んで、早速こちらを試してみました。
他にも CivitAI 画像公開状況⑧ の3 記事も書き上げた後、公開待機中
ですので（昨日のようにあまり同日連投は避けたい）、実に慌ただしい
です。まあそれほどこの作業関連の常識が恐ろしい速度で進化し続けて
いるということなのでした。
当面、評価なので ID は作らず、Google 連携ログインで中に入りました。
即、プロンプトを入力するだけの画面が出ます。
長いプロンプト（3行くらい）やNSFW の内容はエラーとなりました。
（これはツールの自由度を評価する上で不可避の確認です。）
で、画像比較をしたい趣旨から、先日、ADetailer の弊害を語る上で
記事中で例示した「1 girl in flowers」を何例か動作させました。
途中、あまりに地味だったりアニメ化したりするので、プロンプトに
装飾を加えましたものの、その都度うっかり単語がことごとく欠けて
しまってますが、やがて意図の通りに入力して結果を見ました。
同じプロンプトでも写実風になったりアニメになったりもAI 側 任せ（指定できず）の度合いが強いため、創作のツールとしては 私としては使えない
なあという評価です。写実風に顔の造りや表情、動作に何の指示も通らない
感じが「スマホでも動く面白ツール」の域を出ない印象です。
全くの素人がこのツールを使って「これ私がオリジナルで作った動画 ♪」
と自慢して見せるのには悪くないですが、創作者が自身の意図を
映像化するものとしては、あまりに自由度がありません。
作曲制作ツールの「BAND IN THE BOX」や「SINGER SONG WRITER」の
作曲支援機能が結果的にクリエイティブな個性ある産物に至れず、他人の
曲の楽譜を買ってきてコードや音程をちまちま打ち込んで
「これオリジナル ♪」と自慢する次元を超えられないのに少し似ています。
上掲記事中でも「試しにいくつかのプロンプトをランダム生成し、動画を生成してみました。どれも面白い内容になっています。」とありますが、
その記述の通り、プロンプト欄の下に繰り返し出て来る「Idea」そのもの
を使っているので、それはツール評価に好印象の内容に引っ張られる
でしょう。「森と滝の前でテディベアがサングラスをかけてギターを弾く」
なんて、誰が自身の創作で使いたいと思うでしょうか。
それは「こんな指定まで楽々対応」ではなくて「こんな指定をして
くれよ」という誘導に過ぎません。1980 年代に普及し始めた機能簡素化
した1 Voice シンセサイザが「チェンバロの音も、波の音も、風や爆発の
音も自在に出せる」と謳っていたのにも似ています。それらの特徴が強い
音は単純な発振回路で作れたもので、倍音の構成や時間変化が複雑なピアノ
の音など到底出なかったのに似た誘導という訳です。
自身が動画化したいイメージをどれだけ再現してくれるかが、動画生成
ツールの価値ではないかと考えます。
比較のために同じプロンプトで Stable Diffusion Web UI Forge により 静止画生成したものを Leonardo.Ai で動画化したものとLUMA AI の 動画を比較した動画を作ってみました。
（毎度ながら再生画質設定は1080p でお願いします。）
従来の動画生成だと、尺を稼ぐためにフォトレガシでの 4 秒 → 7 秒強
のスローモーション処理を使うと、題材によっては動きが緩慢過ぎる
場合もありますが、元の静止画への意図は充分制御して籠めることが
出来ます。
LUMA AI の Dream Machine では動きは自然なものの、内容全てが
AI 側にお任せな結果を授かるだけ、というのは物足りません。
プロンプトでもう少し制御や意図を追い込めるかもしれませんが
（しかも長いプロンプトは受けられない）、シーンごとに人物の
キャラクタなどもころころ変わるでしょうし、やはり従来の私の動画
作成ルーティンにとって代わるものには現時点ではなり得ない、と
評価します。
【2024/06/17 追加訂正】
…と、ここで追加訂正があります。
最近、やりとりをさせて頂いている先人様、GAT1 様が本件に関して
別の使い方を提示されていました。
原画像を用意しておき、動画に出て来る人物や対象を原画像の
時点で追い込んでおく、つまりはImage to Motion で使うという
ものでした。上記の「シーンごとに人物のキャラクタなども
ころころ変わる」もこれなら解決します。
どこに原画像を入れるところがあったの？と思ってDreamMachine
の画面見ましたら「Words or Image...」ってちゃんと書いてありました。
フィールドに原画像をドラッグするのではなく、画のアイコンを押して
PC 内のリソースを指定するようです。
「IN QUEUE」表示のまま物凄い処理時間（約 40分 ）がかかりましたが、
画面上端に「多くの需要があるため、一時的に無料ティアを1日10世代に
制限しています。有料ティアには優先順位があり、1日あたりの制限
はありません。」とのアラートも出ているので、話題沸騰で処理が
追い付いていないのかもしれません。
比較動画に追加訂正版を作り、その Image to Motion の成果を最後の
シーンに加えました。
（毎度ながら再生画質設定は1080p でお願いします。）
得た成果はたまたまなのか動きがあり過ぎて、2人のうちの後ろの
女性が前の女性の匂いを嗅いで「ん？くっさー…」みたいに、元々の
妖精2人みたいな淡い雰囲気をぶち壊してますが…(^^;)。
顔の変形も凄いです。
その点、Leonardo.Ai や Runway のように Motion 変化量の指定は
欲しいです。今のところ変化量が大きくなる前に、その後を編集で
切り落とすしかなさそうです。
そうすれば従来の手法と併用して、躍動感のあるシーンも加えて
変化を演出するのに使えそうですか…。
ご覧いただきありがとうございます。
この記事が気に入ったらサポートをしてみませんか？