Prompt_injection/ComfyUIを試してみた話

2024年6月26日 10:35

今回は、この拡張機能を使って画像生成への効果について試してみました。
本家のものは別でフォーク版です。理由は不明ですが、こちらだとうまく動いたため、こちらを使用しています。

きっかけは、上の記事になります。
この記事では、「prompt_injection」を使用して、画像生成における階層の影響について検討していました。
いまだに十分は理解していませんが、モデルの階層別にプロンプトに対する反応の程度が異なるということは分かる内容でした。

さて、今回は「prompt_injection」してより良い画像生成をしてみようという話になります。

「prompt_injection」は、プロンプトを上書きするみたいな機能になります。
該当する階層だけ違うプロンプトにするみたいな感じでしょうか。

参考にした記事の内容にもありますが、シード値を固定し、ネガティブプロントとミュートした状態で変化を見たりしています。

「prompt_injection」のノードは、「prompt i」ぐらいで検索すると出てきます。

＜「prompt_injection」のノードのつなげ方的なもの＞

以下のような感じにつなげてみました。

「prompt_injection」のノードは、Loraみたいにモデルにつなげる感じで、別に追加で入力するプロンプトを「CLIP text encorder」で繋げるという感じです。

1girl, with a tear mole, smiles, looking at viewer, making a peace sign. Her light-colored hair blows in the wind. The background features a blue sky with white clouds. She wears casual clothes, exuding a sense of joy and openness.

空白プロンプトをつなげた場合の変化
プロンプトがその階層だけ入力が無くなるので、画像が変わる事が想定されます。

ALL ⇒　大きく変わりました

試した中で、変化が少なかったものと大きかったものがありました。これは参考にしたサイトでも同じでした。

変化が少なかったもの

INPUT４、INPUT５、INPUT8
Middle0
OUTPUT2、OUTPUT3、OUTPUT5

変化が多少あったもの

INPUT7：着ている服装が変わった

OUTPUT0：全体的に書き込みが減った感じ

OUTPUT1：雰囲気が変わった

OUTPUT4：若干背景の書き込みが減った

上記の様になりました。
参考にしたサイトだと、INPUT8の影響が大きかったとのことですが、このモデルではINPUT7でしたので、モデルによる差のようです。

＜INPUT7＞にもとのプロンプトを入れて見る

ウェイトを2にしてみる

OUTPUT0, OUTPUT4に追加する

ウェイトを2にした

INPUT7, OUTPUT0, OUTPUT4をウェイト２にしたもの

OUTPUT１のみ

ウェイト２

INPUT7, OUTPUT0, OUTPUT1, OUTPUT4をウェイト2にしたもの

ということで、このモデルにおいては、OUTPUT1はウェイトを増やすとものが増えるということが分かりました。
プロンプトを空白にして、悪い変化があった場合に、ウェイトを上げて元のプロンプトを入れ込むことで若干良い方向になる可能性が示唆されたと思われます。

INPUT7, OUTPUT0, OUTPUT4をウェイト2で、ネガティブプロントや品質系プロンプトを追加したもの

INPUT7, OUTPUT0, OUTPUT1, OUTPUT4をウェイト2でネガティブプロントや品質系プロンプトを追加したもの

プロンプトへの反応が「あと一息」みたいな時に使用すると効果的な気がしました。

この記事が気に入ったらサポートをしてみませんか？