stable diffusionの拡張機能でアニメーションを生成するときに失敗したこと…😢

animatediffはアニメーションを生成できる最高の拡張機能ですが、設定を間違えると大変なことになります。

あまりにも自分が学習をしないので、戒めの気持ちと同じ方が現れないように、ここに残したいと思います。

失敗1.生成動画のサイズ

生成時間が大変なことになる全ての元凶はこれです。
生成するアニメーションのサイズ次第で、時間は雲泥の差ができます。
出社前に何気なく、アニメーションを生成する準備をして出かけて帰ってきたら、まだ70%結局終わったのはこの記事を書いている朝だった…。

今回22時間かけて生成した時の設定が以下のような設定です。
「Hires.fix」と「ControllNet」を同時利用して生成しました。

実際に生成した動画

MV風アニメーション「彼女」

ちなみに「Hires.fix」を外すと1時間で生成できました。

実際に生成した動画

失敗談2.フレーム数

アニメーション制作であれば、フレーム数が多ければ多いほどぬるぬると動く動画になります。

そのため、フレーム数を24でやれば、最高にぬるぬると動くアニメーションができると思っていました…。
以下例

8フレームのアニメーション

24フレームのアニメーション

しかし、フレーム数を上げすぎて画像の枚数が増えた結果、アニメーションとして整合性が取れない結果になりました。

実際に生成した動画

フレーム数以前の問題もありますが、フレーム数を多くするとがアニメーションが崩れるので、注意しましょう（笑）

反省点

stable　diffusionの使い方のサイトを見て、わかりやすい項目の設定だけを変更していましたが、もっと細かい設定を見直していかないといけないと感じました。

実際、どういう風に生成されているのかの詳細を理解できていなかったので、適当にやっていた感があります。
折角作るなら、もっとクオリティの高い動画を作りたいので、今後はその設定周りも勉強してみようと思います。

それでは皆さん良い創作ライフを！