Deforum Stable Diffusion — official extension for AUTOMATIC1111's webui で遊んでみる

はじめに

おはこんにちばんわ、えるです❢

stable diffusionと連携し動画作成ができるdeforum
stable diffusionが公開されてわりとすぐに出てきた（はずな）上に、今はcontrolnetなどの最新技術も取り込んでいる、とても面白いサービスです

最近だとtiktokでも話題になっているとか

なんですが、周囲には特に日本語の情報は少なく、、あんまり使われてないのかな…？　という印象も。。

そんなdeforumでの遊び方をまとめてみようかと思います
個人的なメモではありますが、誰かの参考にもなれば良いなあとか思いつつ

補足として、私も手探りでいろいろ試しているだけなので、記載内容は間違っていたり更新されていく予定ですのでご承知おきください

〇deforum webui版
GitHub - deforum-art/sd-webui-deforum: Deforum extension for AUTOMATIC1111's Stable Diffusion webui
※インストール方法などはここ

〇deforum 公式
deforum · GitHub
※マニュアルとかはここ（だけど英語）

deforumのインストール

※webui の他のextensionインストールと特に変わらないので省略

deforumのGUI　～Top

インストール後はこんな感じのものが追加されているはずです

ぜんぜんわからない私たちは雰囲気でdeforumをやっている　的な画面

正直私にもわからないので、以下で細かく見ていく予定ですが「deforumの遊び方」から触りながらじわじわ見たほうが面白いかもしれない、そんな気がします

deforumのGUI　～Run

※作成中

deforumのGUI　～Keyframes

※作成中

deforumのGUI　～Prompts

※作成中

deforumのGUI　～Init

※作成中

deforumのGUI　～ControlNet

※作成中

deforumのGUI　～Hybrid Video

※作成中

deforumのGUI　～Output

※作成中

deforumの遊び方　～はじめに

deforumで実際に遊んでみた設定や結果をまとめてみます
deforumの基本設定より変更した箇所のみ記載していきます
まずは、以降で共通の変更箇所を記載します

Runタブ

・好みのSamplerにします 　私はとりあえずDPM++ 2M Karras
・好みのstepにします　まあ20くらいでいいでしょう

結果こんな感じ

deforumの遊び方　～t2iベースで動画

共通の変更箇所を変えた後、以下の変更を実施します

Outputタブ

・FPSを変更します　これは「1秒間を何枚のイラストで表現するか」を表しています、って説明不要？　Frames per secondなのかな？　違うかも　
　→　お試しなので12くらいにしておきます

Promptsタブ

・Prompts 内のデフォルトは以下の設定になっているはずです

{
    "0": "tiny cute swamp bunny, highly detailed, intricate, ultra hd, sharp photo, crepuscular rays, in focus, by tomasz alen kopera",
    "30": "anthropomorphic clean cat, surrounded by fractals, epic angle and pose, symmetrical, 3d, depth of field, ruan jia and fenghua zhong",
    "60": "a beautiful coconut --neg photo, realistic",
    "90": "a beautiful durian, trending on Artstation"
}

これを好みのプロンプトに変更します
デフォルト設定のようにプロンプトはフレーム指定して変更可能なのですが、まずはそんななことはせず、1種類にします

{
    "0": "ここに好きなプロンプトを入れる"
}

・Prompts negativeも設定します　とりあえず　EasyNegative negative_hand-neg　にしました

Keyframesタブ

・Animation modeはデフォルトの　2D　から、　3D　に変更します（私の好み）
・Max framesをとりあえず60にします　FPSが12、Max60なので5秒間の動画になる予定です
・Strength scheduleを以下の感じにします　その他タブがいっぱいありますが、いったん忘れます

0: (0.65), 30:(0.65),33:(0),36:(0),38:(0.65) 

・Translation Xを以下の感じにします

0: (0), 30:(0),31:(10),35:(0)

Generate

のボタンをぽちー
エラーが無ければしばらく待った後、以下の感じで完了するはずです

生成画像はイメージ

Click here after the gereration to show the video　をぽちー
するとVideoが生成されます❢

deforum　note用動画 pic.twitter.com/8VUjKGXYJJ

— える (@el_el_san) June 4, 2023

生成されました❢

deforumの遊び方　～Video Input

※作成中