【LUMA】2枚の写真から動画を作る最新AI動画「Tiny Girl」、驚きの画像補完技術

LUMAのDream Machineから、今度は、最初と最後のフレーム写真から中間部分をAIで画像補完して動画を作る技術が公開されました！

まさに待ちに待った待望の技術です。
何故かと言えば、これまで1枚の写真から動画を作成していた際には、ほとんどの動画で顔が変わってしまったり、想像とは違う動きをしたりして、意図通りの動画を作るのがとても難しかったのですね。

たとえば、この動画をご覧ください。

この動画を作成する際に使用したPROMPTは「女性が笑いながらゆっくり歩いている」というような内容でした。
ところが、動画が始まるとすぐに顔が変わり、予期しない動作をして終わっています（笑）。

次の画像は、途中まで顔が維持されていますが、振り向くと別人になっています（笑）。

【LUMA】驚きの画像補完技術

今回発表された技術は、動画作成時に最初と最後のフレーム画像を指定することが出来ます。
これにより、顔や動作の一貫性・連続性が保たれ、どんな動画が出来るのか予測をつけることが出来るようになりました。

この技術があれば、Music Videoの制作も意図通りに行うことが出来るので、いよいよ有料で使っても良いかな？と思う気持ちになってきました（笑）。

今回作った動画は、以下の2枚を使用しました。

最初のフレーム

最後のフレーム

楽曲について

LUMAのサービスは、大変込み合っており、今日は、ひとつの動画を作るのに7時間くらい待ちました（笑/無料なので）。
ただ、出来上がった動画がとても良かったので、どうしてもこの動画に合う曲をBGMにつけたくて、まだ製作途中の「Tiny Girl」という曲を大急ぎでCUBASEでつくって、入れてみました。

この曲は、1960年代のアメリカをイメージしたダンスミュージックで、正式にリリースする時には、1960年代のニューヨークの街と衣装をつけて香織を躍らせてみたいと思っています。
今回は、その予告動画として作ってみました。ぜひご覧ください～

2枚の写真から作ったAI動画「Tiny Girl」

Music：Tiny Girl（未発表曲）
Singer：加藤香織(yayoiMix_v131)
ボイス：Synthesizer V Studio Pro
Photo：Stable Diffusion

★★★画像生成AIのStableDiffusionで生まれた加藤香織は、大人のしなやかさに幼さを同居させた23歳のAI・Singerです。★★★