見出し画像

Mid Journey v6 + Magnific.ai + Runway Gen2でそれっぽい動画を作る

中村修三(ShuzoN)

動画生成が非常に盛り上がってきていますね。Mid Journey v6 + Magnific.ai + Runway Gen2で動画を作ってみました(10s)。出来たものはこちら。


Mid Journey v6 + Magnific.aiを試す

前もMid Journey + Runway Gen2で一本動画を作りました。

Mid Journey v6がリリースされ、Magnific.ai という画像のアップスケーラがXで盛り上がっていたので試してみることに。

全部Subscriptionして利用しています。音源生成までやると流石に面倒なので、artlist.ioの音源を利用します。 定番ですよね。

音源生成だと Suno.aiが流行ってそうですね。これもいつか試そう。

Mid Journey v6で画像生成

ちょうどこの投稿を見かけたので試してみることに。本当にそのまま使わせてもらいます。

Shadow Casting - 1
Shadow Casting - 2
depth of field
寝顔がほしいので寝てるところを。 Light Fallout

ほぼ何もしてないのにどんどんイイカンジの構図の画像が生成されます。最終的に作りたいのは動画なので適当に見繕います。

Magnific.ai でアップスケール

Magnific.aiは元画像に対して以下の変更を加えられるAIです。

  • 一部を拡大して詳細を描く

  • 元画像のディティールをより細かく描く

UI画面

こんな感じのUIが与えられて、画像をアップスケールすることが可能です。一旦何も変えずにpromptを与えます。

Refine the skin texture to be fine and matte. Clearly define the shades and highlights. Apply a light color grading like teal and orange, creating an overall cinematic color tone.

肌質をきめ細かくマットに。影と光の濃淡をはっきりと。ティール&オレンジのようなカラーグレーディングを薄く入れ、全体的な空気感がシネマティックな色調になるように。

Magnific.aiに与えるプロンプト

わかりやすい生成例はこちら。よく見ないとわからないですが、特におでこや口元のシワに差が出ています。

mid journey v6 (before)


magnific.ai (after)

何枚か試してみたところ、magnific.aiを通したほうが肌の質感に人間っぽさが加わります。大体はほとんど差が出ません。大きな画面でよく見ると「髪の毛や壁の質感、服の材質感」に違いが出ます。とはいえ、ほぼ見分けがつかないです。

mid journey v6
magnific ai 

Mid Journey v6のままのほうが肌感がツルッとした仕上がりになるため「若い」イメージをいだきやすい仕上がりになる印象でした。よほどリアルさを求めない限りはMagnific.aiは不要かもしれません。

Runway Gen2で動画生成

書くことがほぼおなじになるため省略します。Gen2は大きな動きを与えるとすぐに画が破綻します。そのため髪の毛やカーテンと言った人間以外のオブジェクトを動かすような方針で作っています。

ブラシは人間の髪やカーテンの動きやすい部分のみに当てる

プロンプトでなびく髪や、多少の手ブレ感を許容します。

"There's no need to alter the expression or face.causing their hair to flutter. the slight shake of the handheld camera."

動画としてつなぐ

編集で文字・音声入れ

個々のVideoをPremiere Proでつなぎます。このへんは普段の作業と同じですね。

はい、ということでMid Journey v6 + Magnific.ai + Runway Gen2で動画を作る方法でした。個人的には周りにモデルがおらず、ちゃんとしたシネマティックカメラを持っていなくてもこんな感じで思った感じの動画が生成できるのは楽しいですね。

以上。


いいなと思ったら応援しよう！