イケオジ好きすぎてMid Journey + Runway Gen2で動画作った

イケオジの動画を作ってみたいと思いMid Journey + Runway Gen2で動画生成をやってみた。生成物は全部私が生成しています。個人観賞用に作っているため、このアウトプットは組織は一切関係ないです。

家から一歩も出ずに触り始めて1.5hくらいで秋のイケオジ散歩を動画にできるの凄すぎて驚きが隠せない。

(自己観賞用に作ったので、このアウトプットは組織二一切関係しません)

イケオジ好きすぎてMid Journey + Runway Gen2で動画作った by @ShuzoN__ https://t.co/S7eJkCFcSH pic.twitter.com/rLgJnOCfxV

— ShuzoN / CARTA 技術広報 (@ShuzoN__) December 17, 2023

たった1.5時間でこのレベルの動画が生み出せてしまうことに驚きを隠せない。

流れ

1. Mid Journey v5.2 で画像生成

2. Runway Gen2で画像から動画生成

3. Black Magic Design Davinci resolveで編集

Mid Journeyだけ Subscriptionしてて、後は無料です。Mid Journeyが一番リトライするため、ここは無料枠だときついかも。画像生成ツールは何でもいいです。私は課金して慣れてるのでMJにしました。

Mid Journeyで画像生成

Mid Journey v5.2で画像生成する。ここは日本語からChatGPTで翻訳したプロンプトを作って生成。

イケオジ+イチョウ並木の正面構図と後ろからの構図

前構図: upscaleしてチョイス

後ろ構図: upscaleしてチョイス

横顔の構図

横顔の構図: upscaleしてチョイス

イチョウがはらりと落ちるシーンがほしいので生成

イチョウ並木の地面を生成

イチョウ葉のアップが欲しかったので生成

Runway Gen2で動画生成

Runwayは画像+テキストプロンプトを入れることが出来る。

画像: Mid Journeyで生成した画像
プロンプト: Mid Journeyで生成時に指示したプロンプト

プロンプト考えるのが面倒だったのでプロンプトはMid Journeyと同じものを利用。

Gen2はMotion Brushで動きを指示できる

Gen2は変更を加える部分を塗って指示できるので、各々動かしたいところを指示する。

Motion brushで動きを指示し、カメラの動きをそれとは別に加える。あんまり大きい動きを加えると破綻するので、とても地味な変更に抑えるのがコツっぽい。

前構図

横構図

浮いてるイチョウ。重力表現は苦手そうだ。

後ろ構図: 歩かせると破綻する

上から構図: カメラロールできるの地味便利

地面構図: 引きでエンディングっぽく

Davinci Resolveで編集

Davinci Resolveで切り貼りする

Gen2で作った動画を切り貼りする。生成動画は端に破綻箇所が多くでるため、1.9-2.2倍くらい寄り目にクロップして使うと素材が使いやすい。

すごい時代きたなぁ…