stable diffusion「Deforum」のアニメーション生成を色々と試してみた。

先日から始めたアニメーションの生成ですが、色々と試していく中で気づいたことなどを書いていきたいと思います。
アニメーション生成をしたいという方は是非参考にしてみて下さい。

動画の生成時簡について

動画の時間を大きく左右するのは「画像のサイズ」と「steps」の2つでした。
以下の動画は「1024 x 1024」で作ったアニメーションですが、動画ができるまで、約30分かかりました。

設定は以下のような感じです。

RUN
・Sampler　
DPM++2M SDE karras
→サンプラーはノイズを除去する方法で、steps数を増やすことで、画像の制度を上げることができます。ただし、高くしすぎても画像が崩れることがあるらしく、丁度よい値を探るのが良いらしいです。
・width　 1024
・heidght 1024
・steps　70

・Max frames　180(10秒くらい)

↓フレームごとにプロンプトを記載することができます。
プロンプト
{
"0": "cry",
"30": "smile",
"60": "angry",
"90": "serious"
}

続いて「524 x 524」で作ったアニメーション動画を見てみます。
画質はSDなの悪いです。

https://youtube.com/shorts/h19IXzTS3FI

こちらも上記と同じ設定で、画像のサイズだけ変えましたが、こちらは3分でできました。

steps数も上げればさらに時間が変わりますが、画像のサイズ以上に時間は変わりません。

steps数初期値でも画像サイズをHDにするとものすごく時間がかかります。
高画質動画はやっぱり仕事中などに生成したほうが良いかもしれませんね。

プロンプトについて

プロンプトもまだ試行段階中ではありますが、具体的な動きの指示には対応していないのかもしれません。
→ほかの方はしっかりと動きのあるものを作られていたので、単純な勉強不足かも…。

プロンプトで

{
"0": "walk near the lake",
"30": "jump up",
"60": "embarrassed , holding down the skirt with hands",
"90": "touching fingers to the lips"
}

と入力してみましたが、出力されたのが…。

画像生成AIでアニメーションを作ってみた(六号機)

最初のプロンプトは実行されている感じがしますが、他のに関しては全く実行されていないような気がしますね。

同じプロンプトで何度か生成してみましたが、大きな変化はありませんでした。

感じたこと

アニメーションをAIを通して作れることはやっぱりうれしいです。自分が作りたいのはストーリ性を持たせた自分の世界観を表現できるアニメーションなので、その点を意識しながら、今後もAIを活用しながら、創作活動に励んでいきたいと思います！