Stable Video Diffusionで動画生成を試してみた

画像生成AIでお馴染みのStable Diffusionを開発したStabilityAI社が新しく動画を生成するAI、Stable Video Diffusionを発表した。

Stable Video Diffusion のご紹介 — Stability AI Japan

公開されたモデルを使用して、さっそくサンプルコードを公開されてる方がいらっしゃったので触ってみます。

Stable Video Diffusionも早く触りたいでも、リソースやどうやって試せば良いのか分からないという方！
Colabのフリープランで試せるようにハックしました。どうぞお試しください〜。
Colab: https://t.co/SiYDRzLxTA#StableVideo
初期画像は #JSDXL から生成。 https://t.co/RUOY5QBAPD pic.twitter.com/CplEznLsJ2

— mkshing (@mk1stats) November 22, 2023

colabのURLにアクセスしてプログラムを実行するとgradioで構築されたシンプルなweb UIが表示される。

Google Colaboratory

特別なことはいらない。
実行すると下記のような画面が出てくるので、画像をアップロードして動画が生成されるのを待つだけだ。

web UIをT4で立ち上げた場合は画像アップロードから約7分で動画が生成される。V100だと2分くらいで生成できる。

アップロードしたMidJourneyで出力したこちらの画像。

さっそく生成された動画を見てみよう。

おおっ……！
まさか回転してくれるとは……！！
待つだけで出ると考えると、なかなかのクオリティじゃない！？

こんどはこちらの画像。

生成された動画。

これまた違う動きをしてくれる！
さっきのは回転だったけど、こちらはスクロールしてジャックオーランタンが跳ね回って見える！
なんもプロンプト入れてないのにこれだけできるのか！

ちなみにどちらの画像も縦がつぶれてる？
リサイズが固定サイズなのかな？

他の生成されたのも見てみよう。

カメラワークがうまく噛み合えばかなり良い感じの動画になるけど、パッとしないのもありますね。
カメラワークはランダムなのかな？
ソースコードをざっと見ただけではどこで調整してるのかは分からなかった。

最後にこの記事のメインビジュアルの画像を動画にしてみたのがなかなか良い感じだったのでこちらで締めたいとこ思います。