Deforum studioのプリセットについて2：ハイブリットビデオを使用する際に気を付けること
上のサイトは、本家のプリセット一覧になります。
動画の例が提示されています。
前回紹介したGithubのプリセット内に、ハイブリッドビデオを使用するものがあり、それらはコントロールネットのcannyが必要となっています。
Paperspaceの一時フォルダを使用している場合は以下のコマンド
!cd /tmp/stable-diffusion-webui-forge/models/ControlNet && \
wget -nc https://huggingface.co/lllyasviel/sd_control_collection/resolve/main/diffusers_xl_canny_mid.safetensors?download=true -O diffusers_xl_canny_mid.safetensors見分け方
プリセットを読み込んだ後、コントロールネットをオンにする
自動的にモデルが表示される場合はそれが必要と判断すると良さそう
①ハイブリットビデオのパスを設定
ハイブリットビデオが必要な場合は、プリセットを読み込んだ後、「video int」を確認すると、対応するハイブリットビデオのファイル名が記載されたものが表示されます。
そこに、対応するハイブリットビデオのパスをコピペします。
②コントロールネットの設定
cannyのプリプロセッサーは、「none」のままにします。「canny」にすると画像がぼやけたものになります。
コントロールネットの参照先の設定がプリセットにはありません。
ハイブリットビデオのパスを入力すると良さげです。
③プロンプトなどの設定：Paraseqで作成するのがおすすめです。たまに参照するmp4にfps12とかあるので、fps12で作成しておくのが無難な感じです。
※使用しているモデルによって、相性があります。
うまくいくプリセットもありました。
色々試してみると変化させてみたい数値も出てくるかもしれません。
まだ触り始めたばかりですが、この相性はシード値を固定している影響がある印象があります。そのため、画像がいまいちな場合は、シード値やノイズの設定を調整するとそこそこよくなりました。
これはEvolve-Pulse-Glitchのプリセットを使用したものです。
これも、プリセットだとアーチファクトが出たこともあり、シード値やノイズの設定を調整しています。そこの調整に何回か試行錯誤が必要だと感じました。
自分の環境のDeforumで、このような動画が作成できるのは良いですね。
この記事が気に入ったらサポートをしてみませんか？