見出し画像

CLIP Skipの数値はどう反映されるか?

StableDiffusion、DrawThingsには【CLIP Skip】というパラメーターがあります。
これを変更すると生成される画像にどんな変化があるかを調べてみました。


結論 CLIP Skipは1か2でOK

いきなり結論です。

CLIP Skipのパラメーターは 1 か 2 に設定してください!

3以上にすると、プロンプトをうまく反映しないっす。
あと背景の描き込みが弱くなる。

そのためか、女性と背景の境界が不自然になり絵っぽくなります。
(実写感が薄れる)

では実際に生成したものを1〜8まで見てみましょう。

CLIP Skip 1
CLIP Skip 2
背景がボケてきた
CLIP Skip 3
何か彩度が低い
CLIP Skip 4
CLIP Skip 5
背景ボケ、、というより水彩画っぽい
CLIP Skip 6
CLIP Skip 7
CLIP Skip 8
背景がほぼ描かれてない

実際には23まであるのですが、いわゆる不気味の谷っぽくなったのでもうやめます。
何か怖いです笑

1と8を比較するとこんな感じ↓

← 1 8 →

明らかに左のほうが可愛いです!
右は何か芋っぽい。。。笑

ということでCLIP Skipの値は 1 か2 くらいにすると良さそうです!

そもそも CLIP Skipって何?

ではそもそもCLIP Skipって何でしょう?
DrawThingsにはこう説明が書かれています。

"CLIP Skip" controls how many layers from the last in the text encoder are skipped.
Text encoder translates your text to vectors the computer understands.
Skipping more layers in the text encoder will force computer to focus more on individual word than their combined meanings.
This might be useful for models that fine-tuned on tag-like text inputs.

翻訳:
"CLIP Skip "は、テキストエンコーダの最後から何番目のレイヤーをスキップするかを制御します。
テキストエンコーダは、テキストをコンピュータが理解できるベクターに変換します。
テキストエンコーダーでより多くのレイヤーをスキップすると、コンピューターはそれぞれの単語の組み合わせの意味よりも、個々の単語に集中するようになります。
これは、タグのようなテキスト入力に対して微調整を行うモデルに有効かもしれません。

んーー。つまりどういうことだってばよ。

要は、プロンプトの内容をどれくらい無視するか?
ってパラメーターのようです。

なので1か2だと反映され、3以上にすると意図しない絵が生成されるということですね。

だから8は全然違うものが生成されたのか!

ということで、CLIP Skipは1か2に設定するといいよってお話でした。

AIグラビアの写真集を発売いたしました。
通常価格 400円
Kindle Unlimited 0円

noteで紹介しているツールやテクニックを使って生成したものです。
どんな仕上がりになるのかを、あなたの目で確かめてくださいね。

第2弾 AIグラビア写真集!
通常価格 400円
Kindle Unlimited 0円

こっちはちょいエロです。
18歳以上でもエロがイヤな人は見ちゃだめですよー


この記事が気に入ったらサポートをしてみませんか?