見出し画像

【動画生成AI】Luma AIのDream Machineを徹底検証！初心者でも夢の動画が作れるか？〜リベンジ〜

AI副業検証中

こんにちは！今回はLuma AIの「Dream Machine」を再び利用し、2D画像を動かす検証をしてみたので、その結果を共有します。前回は散々な結果で、正直、あまりうまくいかなかったのですが、もしかしたらちゃんと検証できてなかったのかも？このままで終わりたくない！と思い直し、再度チャレンジしました。
またその際、他の人の生成物をXやnoteで見たり、英語のドキュメントを調べたりして、さらにYouTubeの動画なども参考にさせていただきました。先人の方たちに感謝します。

↓前回の記事↓


結果

今回は前回より良い結果が出たと思います。

女の子を歩かせてみた件

まず何をしたか？

Luma Dream Machineのプロンプトガイドを再度熟読する

まず、Luma Dream Machineのプロンプトガイドを再度しっかりと確認しました。
特に、「Video Generation」の「Image to Video Tips」部分を重点的に見ました。このガイドには、細かい動作やシーンを詳しく説明することで、より理想的な動画を作れると書いてあります。（2つのプロンプトガイドは同じようなことが書いてますが後者の方がより詳しく説明されてます）

この項目を簡単にまとめると、細かい動作やシーンの説明を加えることで、より理想的な動画や画像を生成できると書いてあります。

  • 画像をアップロードするか、プロンプトでシーンを記述して生成を開始できる。

  • 「Enhance Prompt」を有効にすると、シーンで何が起こるかを簡単に記述するだけで良い。

  • 期待通りの結果が得られない場合は、「Enhance Prompt」をオフにし、詳細な動作や動きも含めたプロンプトを具体的3〜4文で作成する。

  • より良い結果を得るために、カメラの動きやアクション、物体の特徴、背景を具体的に説明するのが効果的。

前回の検証では、カメラの動きについてはなんとなく検証できていたと思いますが、より良い結果を得るためには「詳細な動作や動きも含めたプロンプト」「カメラの動き」「アクション」「物体の特徴」「背景」も必要とのことです。

プロンプトを作成する

画像を作成する

では今回使用する画像をMidJourneryで作成します。

MidJourneryで作成

勝手ながらこちらの記事を参考に作成させていただきました。

作成したい動画のイメージを作成する

「緑色の背中まである長い髪を持つ、20歳のかわいらしい女性がゆっくりと前に歩いている。彼女は緑の模様が入った白いTシャツにジーンズの短パン、オレンジ色のスニーカーを履き、茶色のショルダーバッグを持っている。足を交互に動かしながら、あたたかみのある雰囲気の中で穏やかに歩く。カメラは静止しており、背景はなく白い空間が広がっている。彼女の美しい瞳が輝き、カジュアルな姿が心地よさを感じさせる。」

イメージをさらに詳細にし、特徴を細かく書き出してみる

動画の詳細

主役は、緑色の背中まで届く長い髪を持つ20歳の女性。彼女は、緑の模様が入った白いTシャツ、ジーンズの短パン、オレンジ色のスニーカーを履き、茶色のショルダーバッグを肩にかけている。全体的にシンプルであたたかみのある雰囲気が漂っている。

物体の特徴

彼女の髪は鮮やかな緑色で、背中まで長く伸びている。白地に緑の模様が入ったTシャツ、ジーンズの短パン、オレンジ色のスニーカーがカジュアルな印象を与える。茶色のショルダーバッグがスタイリングのアクセントになり、彼女の瞳はやさしい輝きを放っている。

カメラの動き

カメラは静止しており、彼女の全身をフレームに収めている。ズームやパンはなく、一定の距離から女性を穏やかに捉え、リラックスしたシーンを強調している。

アクションとモーション

女性はゆっくりと前方に歩いており、足を交互に動かしながらリズミカルに進んでいる。その歩みは穏やかで落ち着いており、全体的にリラックスした雰囲気を表現している。

背景と設定

背景は真っ白でシンプルな空間。物体や環境の干渉がなく、時間や天候の変化もない。温かみのある雰囲気が、彼女の歩行や瞳の美しさをより引き立てている。

簡潔な英語のプロンプトを作成する

普通にまとめた場合
Prompt:「A 20-year-old woman with long green hair, wearing a white T-shirt with green patterns, denim shorts, orange sneakers, and a brown shoulder bag. The static camera captures her full body as she walks slowly and calmly. The setting is a pure white, simple background with a warm and relaxed atmosphere.」

よくないところ
・フルセンテンスで書かれていて、描写がより説明的
・描写が細かすぎる、簡潔ではない
・シンプルではない回りくどい説明

短くて簡潔なフレーズや単語にした場合

Prompt:下記のプロンプトを短くて簡潔なフレーズや単語に変えてください。具体的には、詳細をリスト形式で簡潔にし、動作やカメラの動き、背景などをシンプルな単語で表現してください。
「A 20-year-old woman with long green hair, wearing a white T-shirt with green patterns, denim shorts, orange sneakers, and a brown shoulder bag. The static camera captures her full body as she walks slowly and calmly. The setting is a pure white, simple background with a warm and relaxed atmosphere.」

修正されたプロンプト結果(static camera shotを頭に足してます)
「static camera shot, 20-year-old woman with long green hair, white T-shirt with green patterns, denim shorts, orange sneakers, brown shoulder bag, walking slowly, warm and relaxed atmosphere, pure white simple background」

動画を作成する

まず簡潔なフレーズを利用しない例で生成してみました。
Loop, END FRAME, Enhance prompt: なし

特に大きな問題はないですが、足の動きが不自然です。

では、次に簡潔なフレーズを利用して生成したものです。

より自然に、なめらかに生成できました。歩く時の感情が伝わってきますし、足のクロスもよりなめらかです。

2Dアニメ風の絵を動かす場合に感じたTips

2Dアニメ風の絵をDream Machineで動画にする場合に使えるかも？と思ったTipsです。実際ドキュメントにも書かれているTipsも交えて話します。

  • 背景と人物が同化するようなイメージの場合は主役となる方の特徴を細かくイメージする

    • 今回は背景を白にしたのであまり関係ありませんが、背景と人物の色合いが似ている場合、AIが動きをつける対象を背景にしてしまう、又は両方共動いてしまうようなことがありました。そういった場合は主役となる方の特徴を細かく含めると良いです。

    • また背景を白にしたせいか、前回検証したカメラワーク系のプロンプトがうまく動作しませんでした。もしかしたら背景の画像の角度などを計算してカメラワークができるようになっているのかもしれません。

  • リアルさを重視する

    • Dream Machineは現実的な動きを再現するのが得意なのかなと思いました。2Dアニメーションの動きではなく、実際リアルの生活でのシーンや自然な動きを取り入れると良い結果が得られると思います。

      • 例えば、「舞台で踊るキャラクター」ではなく、「緑色の背中まで届く髪を持つ20歳の女性が、リラックスした雰囲気でゆっくりと前方に歩く」といった現実的なシーン。

  • カメラや被写体の動きについて指示を明確にする

    • 例えば、「カメラは静止して彼女の全身を捉え、一定の距離からリラックスした雰囲気を強調する」のように、カメラの角度や動きも含めて指示をするとより望ましい結果を得ることができると思います。

  • 感情を取り入れる

    • 少し伝えづらいですが、単に「歩いている」だけでなく、「リラックスした雰囲気で、温かみのある表情を浮かべながら歩いている」といった感情的な要素を加えると、動画に深みが出ます​。

  • カメラアングルを工夫する

    • カメラは「一定の距離で静止して女性を穏やかに捉える」といった安定したアングルを使うことで、シンプルでリラックスした映像を作り出せます。

  • プロンプトの試行錯誤

    • プロンプトの細かい部分を調整することで、映像のクオリティが大きく変わります。「白い背景の中でゆっくりと歩く彼女」と「リラックスした表情で前方に歩く彼女」といった微妙な違いを試してみると、最適な映像を得やすくなります。

  • 二次元画像の動画は"2D anime style"を入れておく

    • 前回の検証で対象をジャンプさせる検証を行いましたが、激しい動きをさせる場合に対象が2Dから3Dに変わることが多々ありました。そういった場合"2D anime style"を入れておくと3Dにはならなかったです。もちろん激しい動きをすれば2Dでも崩れやすい問題はあります。

他の生成AIと比べると細かい点に気を使う必要が多く、特にプロンプトの設定やカメラの動き、感情の描写などを考慮しなければならないため、非常に面倒です。
ただ逆に考えると、Dream Machineが非常にリアルで高品質な映像を生成するためにユーザーに対して詳細なコントロールを提供していることが理由だとも思います。
ただ自分のように映像のえの字も知らないような人間でもそれっぽい動画が作り出せるのですから改めて凄いなと思いました。

では最後に今回のうまくいった動画の短編集を公開して終わりにしたいと思います。

まとめ

Dream Machineは確かに面倒な部分も多いですが、その分細かい調整ができるのが魅力です。時間をかけてプロンプトを試行錯誤することで、かなり高品質な映像が作れるようになります。私みたいに映像の知識がなくても、それなりの動画が作れるので、副業に使えるかどうかは別としても、やってみる価値は十分にあると思います！
しかし個人個人の試行錯誤には凄い時間がかかると思うので、もう少し簡単に制御できるようになる機能が追加されたらいいなーと思います。

最後までお読み頂きありがとうございました！


サポートしていただけるととても嬉しいです！いただいたサポートは、AI副業や新たなチャレンジのための活動費として大切に使わせていただきます！ 文章はまだまだですが、これからも真摯な記事を心がけるよう頑張って参ります！