予告編っぽいムービー作成、素材はLuma Dream Machine

映画の予告編っぽく

画生成AIを試す中で、複数の素材を組み合わせて映画の予告編のようなムービーを作りたいと考えていました。
Luma AIのDream Machineを使用して、その意欲がさらに高まりました。
iPhoneで少しだけ動画編集をしたことはありますが、パソコンを使った編集は今回が初めてです。
編集にはMacBook Air（M1）でiMovieを使い、トランジションや一部スローモーションを加えています。
ImageToMovieで生成した動画の元画像はLeonardo.Aiを使用し、サウンドはStable Audioで作成しました。

映画の予告編っぽいものができないかと思い、動画生成A IのDream Machineで作成した映像をiMovieでつなげました。
実際には他にいくつも動画を生成し、その中から使えそうなものを選んでいます。
音楽はStable Audio。画像生成はhttps://t.co/nv3pinINME。#LumaAI#LumaDreamMachine#DreamMachine pic.twitter.com/lYJPCZ4hAm

— @makemediaxx (@makemediaxyz) July 9, 2024

Dream Machineは、無料枠で使う場合、商用利用はできません。
今回は無料枠で使用したので、収益を目的としていません。

うまくいかなかった例

Dream Machineは、感覚的に昼間は比較的生成に時間がかからない印象です。
夜間にで数時間かかることもあり、生成結果を翌日に確認などしていたこともあり、上の動画の制作には1週間ほど要しています。
意図とは違う動画も何本も生成されました。
もっとトライ&エラーを繰り返したかったのですが、無料枠では毎月30本の制限があるのであきらめています。
以下、うまくいかなかった動画の例です。

思ったものと違う動画が生成された例。
空飛ぶドラゴンのはずでした。

A dragon with long wings is flying over an old castle. Its silhouette emerges as it soars high into the sky. Its eyes glow emerald blue. #LumaAI#LumaDreamMachine#DreamMachine pic.twitter.com/cKVaGKvbwf

— @makemediaxx (@makemediaxyz) July 9, 2024

思ったものと違う動画が生成された例。
画像から生成しています。
剣の形状が崩れました。

He is about to thrust the sword he is holding forward and declare a battle.#LumaAI#LumaDreamMachine#DreamMachine pic.twitter.com/GM6MVXOP5o

— @makemediaxx (@makemediaxyz) July 9, 2024

思ったものと違う動画が生成された例。
剣を持たず、肩の動きも微妙です。

A lone samurai robot in full Japanese armor, holding a sword, is about to start a fight. Autumn leaves are reflected beyond the window behind the samurai.#LumaAI#LumaDreamMachine#DreamMachine pic.twitter.com/mzjK9cHLnO

— @makemediaxx (@makemediaxyz) July 9, 2024

思ったものと違う動画が生成された例。
画像から生成しました。
空を飛ばせるかな、と思ったのですが。
形状も不安定です。

Birds flap their wings and fly across the sky.#LumaAI#LumaDreamMachine#DreamMachine pic.twitter.com/CfTHIXisow

— @makemediaxx (@makemediaxyz) July 9, 2024