動画生成AIで遊んでみた

今日は今(少し前)に話題になった動画生成AIで遊んでみます。ちなみに音楽生成AIについては別の記事に書きました。

動画生成AIとは

動画生成AIにはいくつかの種類がありますが、今回の対象はtext to video (プロンプトから動画を生成する)ものと image to video (画像から動画を生成する)ものです。

具体的に今回使用するAIをあげます。

• Luma AI「Dream Machine」 最近精度がいいということで話題になっているAIです。

• Pika

• Gen2

• Sora(まだ使えないので今回はパス)(てかいつになったら使えるの?)

• Veo(ウェイティングリストが通ったらまた投稿します)

生成例

まずはプロンプトを本体に備わっているランダム機能を使って生成させてみます。多分それぞれ得意分野なのでしょう

Luma Dream Machine

トラ(かな)か雪の中で歩いていく様子を後ろから撮った動画が生成されました。概ね問題はありませんが歩き方が少し変だったり足跡がついていないなどの違和感が少しあります。

なぜかいくつかの動画が(私の環境では)見えないので再生リストを作りました。

生成AIで遊んでみた

今日追記
Video to Sound Effects Generatorというものを見つけたので音を付けてみました。

Pika

こちらは池に浮かんでいる葉っぱに乗ったカエルの映像です。

Gen-2

こちらは花畑の中を飛ぶチョウの映像です。

アニメの一場面

今度はプロンプトをこっちで決めて生成させてみます。日本人なのでアニメをネタにします。

プロンプト

A fast-paced anime fight scene between a skilled ninja with a katana and a powerful demon with glowing red eyes. Use dynamic angles, exaggerated movements, and special effects like energy blasts.

このプロンプトはGemini1.5Proに考えさせました。

Dream Machine

どこかのアニメのバトルシーンみたいです。少し画質が荒いのはありますが概ね使えます。

Pika

あるキャラクターが剣を構えてパワーでもためているのでしょうか?

Gen 2

こっちは動きがあまりなくて悲しい結果でした。

ドラマの一場面の生成

次にドラマの一場面を生成させてみます。これは私がいつか自分の小説をAIで実写化(というべきなのだろうか)させたいからです。

An elderly woman is walking through a peaceful Japanese garden, stopping to admire the cherry blossoms.

Dream Machine

桜が散る恥の上でおばあさんが歩いている動画です。よく見ると花弁の形が少しおかしいですが概ね問題ありません。

Pika

桜の下にいるおばさんの映像が出てきました。見た感じ破綻もなくていい感じです。

Gen-2

ボケはいい感じなのですが、なぜ道からそれようとして歩くの?

Image to Video

次は画像を渡してそれから動画を作ってもらいます。今回はプロンプトは特に入れません。また今回はいい画像がなかったので前の記事のヘッター画像として使った物を使います。

今回使用した画像。これは人間とAIが共同して小説を書くという前回の記事の内容にあわせて作ったもの。ディスプレイが浮いているのが気になるがそんなことは気にしない。

Dream Machine

男の人がタイピングをしているのはいいのですが奥のロボットが一切動かないのは違和感があります。

Pika

こっちは後ろのロボットも動いて、いい感じです。

Gen-2

手がどこいった? やはりAIは手の描写が苦手なようです。あとキーボードはどうした?

おまけ

Pikaで今回のヘッダーの画像を動かしてみました。

noteのヘッダーにはgitは無理か…

最後に

今日は動画生成AIで遊んでみました。知らぬ間にここまでAIが進歩していたのに驚きました。