見出し画像

話題のDream Machine（LUMA）で、AI動画を作ってみたら凄かった話

Evita Rene G（エビータ・レネ・G）

今、話題のDream Machineというサービスを使ってAI動画を作成してみました。

これは、テキストから動画を作ることが出来るサービスなのですが、テキストだけではなく写真を動画にすることもできるということで、もしかしたらAIシンガー加藤香織の写真を動画にしてMusicビデオが作れるのではないかと思い試してみたわけです。

生成AI動画は、OpenAIのSORAが登場してからクオリティが一気に上がった感じがありましたが、自分でそれが使えるようになるのはまだ先のことだと思っていました。

ところが、木内さんという方のXで下記の記事を紹介しているのを見つけて、そのクオリティの高さに驚き、自分でもやってみたいと思ったわけです。まずは、DreamMachineで生成した動画サンプルを木内さんのXでご覧になってください。

そういうわけで、今日は、このDream Machineで作った加藤香織のAI動画の紹介と、簡単な作り方を紹介したいと思います。

サンプル動画

まずは、1枚の写真からどんな動画が出来るのかを紹介します。
下記の動画は、待ち合わせをしている香織の写真に簡単なプロンプトを入れて出力したものです。
出力される動画は約4秒なので、スロー再生にして音楽をかぶせました。

顔や洋服の一貫性が保たれていることに驚きです。

一貫性を維持したまま続きの動画を作成する実験

一枚の静止画から生成できる動画は4秒なので、一貫性を維持したまま続きの動画を作成したいと思うこともあります。
その場合は、一つ目の動画の最後のフレームを静止画で取り出し、それを使って再度動画生成すると良いようです。
実験的に作ったものは以下です。右下に小さく表示されているのが動画生成に使った静止画で、途中で静止画が変わっていることに気づくと思います。

Dream Machineで作ったAI動画

それでは、実際に作ったAIミュージックビデオを見ながら、作り方の簡単な解説をします。
まずは、完成したAI動画を見てください。

Music：明くる日も雨
Singer：加藤香織(yayoiMix_v131)
ボイス：Synthesizer V Studio Pro
Photo：Stable Diffusion
動画：Dream Machine(LUMA AI)

★★★画像生成AIのStableDiffusionで生まれた加藤香織は、大人のしなやかさに幼さを同居させた23歳のAI・Singerです。★★★

今まで、静止画でしか見たことがなかった加藤香織が、まるで本物の人間のように、瞬きをしたり、うつむいて寂しげな表情をしたり、本当に感激しました。

AI動画の作り方

Dream Machineは、テキストから動画をつくれるのですが、ここでは写真から動画を作る方法を説明します。

１．DramMachineのアカウントを作成する。

下記のサイトに行って、まずはアカウントを作成します。アカウントはGoogleアカウントを持っていればすぐ作成できます。

２．静止画を用意し、動画を生成する。

（１）絵のアイコンをクリックして写真をアップロードし、どんな動画にしたいのかを英語で入力します。ここでは「a girl looks at me quietly」としました。

（２）あとは左側のの上向き矢印を押すと生成が始まります。生成された動画は、一覧で表示され、ダウンロードもできます。

（３）無料で生成できるのは1か月に30回

（４）ポイント
何度か試してみたのですが、「歩く」などの動きのある動作を指定したり、正面の写真から横を向いたりすると、元の表情を維持するのが難しくなるようです。このあたりは、良いプロンプトの書き方を研究する必要がありそうですね。

元の写真

生成した動画
取り立てて動きのあるプロンプトを入力したわけではないのですが、海が背景にあるせいなのか、よく動いてくれました。動きのある動画は、顔の一貫性を維持するのが少し難しいようで、このビデオは2回目でなんとかいい感じになりました。

元の画像

生成した動画
こちらもかなりダイナミックに動いてくれて迫力があるのですが、香織の顔が少し違う印象になってしまい、持っている飲み物も変わってしまいました。この辺りはプロンプトで指定をすれば一貫性を保てるのかもしれませんね。

ミュージックビデオを作成する

今回は12枚の写真で12の動画ファイルを生成し、不自然な個所をカットした後、つなげてスロー再生で長さを調整し、音楽を重ねました。

これから、過去の作品をAI動画にして再アップしていきたいと思います。




この記事が気に入ったらサポートをしてみませんか？