追加考察：LUMA AI のDream MACHINE。他の動画生成手段と改めて比較。【比較結果を動画化】
この続きになります。
記事後半で趣旨変更して、使いようによっては使えそうという結論に
無理繰り気味に軟着陸させた内容でしたが、CivitAI への投稿や新たな
画像の描画、ブログやnote 記事の執筆などを優先して、その後はテスト
評価を全くしていませんでした。
CivitAI への動画投稿数も 2024/07/19（金）時点で 168 件になって
いますが、現時点で改めてそれらを振り返ってみますと、どれも
制作過程での制約により、動作が緩慢なものが多くなっています。
それは Stable Diffusion Web UI Forge や Stable Diffusion Web UI
（AUTOMATIC 1111 版）で仕上げた AI 静止画を Leonardo.Ai で
Image To Image 処理で取り込み、IMG2Motion 処理で4 秒動画を
生成する、というプロセスによるものです。
1 シーンが4 秒しかないので、つないで自作曲の動画化などで長い
動画にするにしても、場面転換が早すぎて落ち着かないものになる
ため、Windows10/11 のフォトレガシを使って「スローモーションの
追加」により1 シーンで8 秒の動画に仕立てています。
その結果、シーンによってはうまく長さを確保出来たり、動きがやや
緩慢になったりの良し悪しが発生するのでした。
ただ長秒化に伴って画像の崩れを起こす心配もなく、従来は上述の動画
生成方法が一番無難かと考えて来ました。
しかし長い動画を作る際に、ところどころ早いテンポで動くシーンも
混じったほうが全体が緩慢にならず良いと考えるようになりました。
そこで前回記事からテスト評価をして来なかった LUMA AI の
Dream MACHINE をもう少し使ってみようと機会を持ちました。
同時に Runway にも Gen-3 登場の動きがあり、久々にそちらも
覗いてみました。Gen-3 はトライアル使用も有償になったようで、
今回のテストでは旧来の Gen-2 で評価しました。
Runway Gen-2 はマスクで指定した部分のみを水平垂直（ブレンド
させて斜め方向も）に動かすことも出来、自作曲「Eclipse」の
動画化では、その機能なくしてはハイライトである月による金星食
のシーンは再現出来ませんでした。
今回は過去にStable Diffusion Web UI（AUTOMATIC 1111 版）を使って
CivitAI にも公開した3 画を元に従来の Leonardo.Ai による4 秒動画化
と Runway Gen-2 による 4 秒動画化、さらに4 秒の拡張、（3 番目
の画に関しては Credit が無くなり 4 秒の拡張は断念しました）
そしてLUMA AI の Dream MACHINE による5 秒動画化、さらに5 秒の拡張
を実行して、1 本の動画に纏めました。
（Leonardo.Ai には4 秒の拡張機能はありません。）
元の静止画はこの3 画です。
プロンプトや CheckPoint ファイルなどは CivitAI でご確認出来ます。
ただしサイバー女子隊員画の Refiner でかぶせた二次 CheckPoint ファイル
は CivitAI 上で表示されないようですので、それは過去記事の通り、
breakdomain_M2150.safetensors での描画を基本として、
Refiner 機能で beautifulRealistic_brav5.safetensors を0.2 （後者の
影響量80 %）を加味したものでした。
それでは比較の動画です。
（毎度ながら再生画質設定は1080p でお願いします。）
以下、動画内のテロップと内容が重複しますが、補足を加えて
評価を致します。
Leonardo.Ai の動画は他との動きの比較をするために、今回は
フォトレガシによる長秒化はしていません。
このように3 例で比較してみると、特定部位を任意に動かす必要が
ある場合のみ、Runway Gen-2 はとても有効で、それ以外は
Leonardo.Ai の同じ4 秒動画で充分である印象です。
Runway Gen-2 の4 秒拡張があまり良くない（意図に反した変形が
多発する）ので、Image To Image 処理を含め手間はかかるものの、
Leonardo.Ai の同じ4 秒動画をフォトレガシで8 秒動画にするほうが
無難に感じるからです。
（無償使用でも1 日当たり6 動画生成、翌朝また6 動画を生成可能
なのは、月あたりのcredit 付与の扱いよりも使い易いです。）
他方、LUMA AI の Dream MACHINE による5 秒動画化は動きや
カメラワークがダイナミックで力強く、速いテンポで動くシーン
としては上々です。ただ、さらに5 秒の拡張をすると勝手なことを
しがちの印象です。サイバー女子隊員画では理想的な5 秒動画化
でしたが、次の5 秒の拡張ではとんでもない爆笑レベルの展開が
続きました。2 番目の天体画でも同様で、5 秒の拡張では「そのまま
続けばよいのに要らぬことをする」印象で、結局拡張部分を切り落とす
（または5 秒拡張をしない）ことになりそうです。
ただ3 番目の天体画においては、5 秒の拡張もなかなか良かったです。
たまに大当たりもある、といった感じでしょうか。
月あたりの残 credit に余裕があれば試してみるのも悪く無さそうです。
纏めてみると、LUMA AI の Dream MACHINE は5 秒動画化の範囲
では動きもカメラワークも力強いので、これをフォトレガシで
長秒化して、Leonardo.Ai の長秒化した動画と組み合わせる、さらに
特定部位を思惑通りに動かす必要がある場合のみ、Runway Gen-2
も4 秒動画の範囲で使いフォトレガシで長秒化させる、そんな
ブレンドが良さそうです。
なお LUMA AI の Dream MACHINE は画面右上に、Runway Gen-2は
画面右下にロゴが入ります。有償契約では消して貰えるのかも
しれませんが、自作曲「Eclipse」でRunway Gen-2 を使った時には
Android タブレット上の VLLO で、その動画シーンをやや拡大
トリミングすることでロゴを画面外に追い出しました。
Windows のフォトレガシや ClipChamp にそのような機能があるか
未確認ですが、もしお使いの動画編集ソフトにその機能があれば
同様にされると良いでしょう。
ご覧いただきありがとうございます。
この記事が参加している募集
この記事が気に入ったらサポートをしてみませんか？