【最速解説】Luma.aiの動画作成をプロンプトでコントロールする方法
こんばんは、しまゆずです。
SNSでにわかに盛り上がっているLuma.aiの動画生成AI。
Dream Machineと呼ばれるツールが公開されました。
これは、OpenAI社が今後提供を予定してるSoraと同じく、テキストプロンプトから動画を作成することができる画期的なツールです。
これまで、画像からその画像を動画にするツールはいくつかありましたが、このLumaは画像だけでなく、プロンプトが重要になる生成AIです。
となれば・・・
プロンプトデザイナーの出番でしょ！
ということで、色々検証してみました。
ちなみに、Sign upすれば、無料で月30枚まで動画生成が可能なのです。
Dream machineの特徴
生成が高速
Dream machineは動画生成までが早い！！120フレームを120秒で生成します。より速く生成して、より多くのアイデアを探求して、より大きな夢を見ましょう！
（ただし、アクセス過多で通常より時間がかかることがあります）
アクション満載の動画作成
リアルで滑らかな動き、映画撮影、ドラマのある5秒の動画生成ができます。活気のない写真を生き生きとした動画に。スナップショットをストーリーに変えることができます。
一貫したキャラクターによる夢の世界
Dream Machineは、人、動物、物体が物理的な世界とどのように相互作用するかを理解しています。そのため、キャラクターの一貫性が高く、正確な物理演算が可能な動画を作成することができます。
息をのむようなカメラの動きで注目を集める
Dream Machineを使えば、シーンの内容や空気に合わせて、流れるような、映画のような、自然なカメラの動きを無限に試すことができます。
動画生成の限界
かなりクオリティの高い動画生成が可能ですが、現在の限界も紹介されています。
おもに、
Morphing
モーフィングとは、1つの画像から別の画像へと滑らかに変化させる技術です。AIにとって、2つの画像間の対応関係を正確に把握し、自然な変化を生成することは困難です。特に、顔のモーフィングは、特徴の位置合わせや表情の変化を正確に捉える必要があるため、AIにとって大きな課題となっています。
Movement
Movement（動き）： 動きのある画像や映像の生成は、AIにとって複雑な問題です。物体の動きを自然に表現するには、時間的・空間的な連続性を理解し、物理法則に基づいた動きを生成する必要があります。また、動きのあるシーンでは、オクルージョン（物体の一部が他の物体に隠れる現象）や照明の変化なども考慮しなければなりません。
Text
Text（テキスト）： AIにとって、テキストの生成や理解は大きな課題です。自然言語処理の分野では、文法や意味の理解、文脈に応じた適切な言葉選びなどが求められます。また、テキストから画像を生成する場合、テキストの内容を正確に理解し、それを視覚的に表現することが必要です。言語と視覚情報の関連付けは、AIにとって難しい問題だと考えられています。
Janus
Janus（ヤヌス）： ヤヌスとは、ローマ神話に登場する両面の顔を持つ神です。AIにとって、多面的な解釈や表現を行うことは困難だと言えます。例えば、同じ対象でも異なる視点から見ると全く別の印象を与えることがありますが、こういった多面的な理解や生成は、AIにとって大きな課題となっています。
とはいえ、実際の生成された動画を見ると、一眼見ただけでは実際の動画と見比べてもわからないことも。
それでは、早速実践です！
Dream machineの使い方
やり方はとっても簡単です。
先ほどのリンクから、Try Nowをクリックしアドレス登録を行います。
そして、Words or Imageのところに画像またはテキストプロンプト（指示文）をいれて、Enterを押すだけ！！
画像とテキスト同時に入れることも可能です。
テキストを入れると、右下のEnhance prompt（指示分を反映）が強制的にチェックされます。
ここがミソで、このDream machineは、テキスト優位の動画生成が可能なんです。
検証してみた
となれば、プロンプトが何処まで効くのか？検証してみました。
Dream machineの生成にはプロンプトの参考例がいくつかあります。
その参考例をもとに、視点を意識することでどのような変化が出るのか？
また、その視点のプロンプトは果たして有効なのか？
検証しました。
今回は、参考となる画像をMidjourneyで作成し、それをもとにプロンプトを加え、検証しています。
検証結果は以下👇まずは動画を見比べてみてください。
Zoom-out shot
Flyby shot
Drone shot
360-degree shot
A swish pan shot
いかがでしたか？
ここから先は有料ですが、それぞれ詳細を解説します。
ここから先は
この記事が気に入ったらサポートをしてみませんか？