見出し画像

[速報] 先ほど、Runway Gen-3に待望の「Image to Video」が実装されたので試してみる/深夜の突発ライブ

深夜の突発ライブ

月曜の深夜1時39分、Runway Gen-3 Alphaに待望の「Image to Video」が来たので早速、突発ライブを開始しました。

Luma Dream Machineを解約することになるのか?
(KLING も不要になるのか?)
あるいは、一長一短でこの3つの動画生成AIを引き続き併用することになるのか?
じっくり検証して、今夜のライブ配信(第32回目)でお話します。

Runway Gen-3 Alphaの画面:

画像ファイルをドラッグしてアップロードできるように

16:9の比率にするためのCrop画面:

アップスケーラーはまだ実装されていないので生成サイズは1280x768のまま

プロンプトを入力、もしくは入力せずに生成:

プロンプトがどの程度反映されるのか、これから検証開始
生成時間は「Text to Image」と変わらない


早朝3時(日本時間)から論文レビューがあるので、一旦中断。
朝6時頃から再開します。

同時通訳をお願いしました。私の声(日本語)は音量がかなり下がります。日本人、この時間は誰も見ていないと思うので…


走る・階段を上がる

Luma Dream Machineがリリースされた時に使用したMidjourney V6の生成画像を試してみます。まずは、プロンプトなし。

Midjourney V6で生成した画像(Luma Dream Machineリリース時に使用したもの)
かなり難易度の高い生成画像
左側:A/右側:B

生成結果:

生成ビデオとしては概ね良好(しかも10秒間生成しています)。数回の試行錯誤でこの程度の動きは表現できます。走る映像としては不自然な箇所が多々あります。もっと試行錯誤が必要です。
表現力はLuma Dream Machineと同レベルですが、画質はGen-3の方が高いですね。ただ、「階段をあがる ( A )」は生成できませんでした(足踏みするだけで移動しない等)。Dream Machineはどちらも表現できていました。

  • 再生時間:45秒


ハルシネーションチェック

手や関節がどのくらい崩れるのかチェックします。
Luma Dream Machineでは指が増えたり減ったり、想定の範囲内でしたが、Gen-3 Alphaはどうでしょう?

Midjourney V6で生成した画像(Luma Dream Machineリリース時に使用したもの)

生成結果:

かなり良いですね。ハルシネーションはDream Machineと同じくらいですが、成功したときの品質はGne-3 Alpahの方が優れています。
手のひらから水が吹き出る表現をプロンプトで追加してみましたが、わるくないです。

追加したプロンプト:

Water overflows from the palm of the hand.

ハルシネーションは多いが成功したものは品質高い
  • 再生時間:67秒

今のところ、Gen-3 Alphaの方が期待した結果に近いです。
表現力と画質はDream Machineより上回っています。ただ、Dream Machineでは表現できるのに、Gen-3 Alphaでは何度やってもダメということもあり、Dream Machineの代替になるかと言えば、かなり難しい。

結論としては、Gen-3 Alpha、Luma Dream Machine、KLING どれも一長一短で、飛び抜けて優秀という動画生成AIはないということ。
本プロジェクトのように「映画を制作する」「MVを制作する」といったエクストリームな使い方なら、3つ併用するしかなさそうです。

Gen-3 Alphaにカメラコントロールやモーションブラシが実装されると状況は変化するかもしれません。

この続きは、今夜のライブ(第32回)で詳細に報告します。
夜まで14時間以上あるので、検証結果に変化が出てくる可能性もあります。


三夜連続配信(29日・30日・31日):

Creative.Edge Live 第32回目

  • 生成AIを活用した映像制作まとめ/2025年予測 [ 中編 ]

  • 30日(火)夜11時から

Creative.Edge Live 第33回目

  • 生成AIを活用した映像制作まとめ/2025年予測 [ 後編 ]

  • 31日(水)夜11時から


前回のライブ配信:


更新日:2023年2024年7月30日(火)/公開日:2024年7月30日(火)

この記事が気に入ったらサポートをしてみませんか?