Pony Diffusionが過去に暴れまわっていたのでそろそろ攻略するお話【基礎編】
checkPointをしっかり見ずにこれいいかもと思い、DLして生成すると綺麗なものがでないケースがあります。
それが「Pony Diffusion」系のcheckPoint。
Pony Diffusionモデルの知識やプロンプトの基本設定情報がない中でSDXLの知識でやると失敗するケースです。
下記chekPoint比較にてponyのmodelをいれていますが、かなり暴れまわっています。
Pony系checkPointの基本の「キ」
基本の「キ」は、調べずにやるとキモチ悪いのものがでます。
じゃあ、基本と何のか？ということで、存在自体を掘り下げます。
Pony Diffusionについて
Pony Diffusion is an SDXL finetune that despite what its name might imply has very good knowledge of NSFW concepts across many different art styles, including anime. The base style is a bit rough but once you pair it with a known artist or style LORA you'll find that it has unmatched control compared to other local models.
カンタンに言うと紳士向けの概念を非常によく理解しているSDXLのファインチューモデルです。
そのため、普通にやると強力な紳士向けという事になります。
Pony Diffusionは、SDXLという基盤モデルをベースにして、特定の目的やスタイルに合わせてさらに微調整（ファインチューニング）したものです。
基本の品質プロンプト・ネガティブプロンプト
品質プロンプト
下記冒頭にBREAKが入っているのは、Edit Styleでテンプレート化しているためです。
Edit Styleのプロンプトは、一番最後に追加されるのでBREAKで再度優先度をリセットしています。
BREAK
score_9, score_8_up, score_7_up, best quality, masterpiece, 4k, uncensored, prefect lighting, rating_explicit, very aesthetic, 品質ネガティブプロンプト
unaestheticXL2v10,(worst quality), (low quality), score_4,score_5, (extra arms), (extra hands), (extra legs), (fused arms), (fused legs), (deformed arms), (deformed legs), (deformed body), (bad anatomy), bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry, artist name, speech_bubble, thought bubblepony用のembeddingは下記を使用してみます。
LoRAモデルについて
SDXL系とPony系のLoRAがありますが、体感ですがPony系の方が豊富にあります。
SD1.5は多数存在しますが、SDXLになると一気に数が減ります。
SDXLのcheckPointを使っていますが、Pony系のLoRAを使用しても綺麗に出てくれるので助かっています。
PonyのベースはSDXLを微調整したもので、対応可能ですが、時々おかしいのもありますが、おおむねSDXLのcheckPointでponyベースのLoRAが問題なく使用できています。
最近DoRAというのもあるのでこれも別ので調べたいと思います。
Pony Diffusionの生成スタート
条件
Sampling method：Euler a
CFG:7
Sampling steps：20
プロンプトは、上記品質のプロンプトとネガティブを入れた後に、1girlのみで2枚生成してみました。
2枚とも紳士向けでした。
1girlだけで紳士向けという事が分かったので、服のプロンプトsuitを入れてみます。
ちゃんと服を着てくれましたが・・・うーんという感じ。
SDXL用のプロンプトを追加してみます。
下記コードを追加しました。
absurdres,incredibly absurdres,painterly,faux traditional media,comicincredibly absurdres,4k
また服が無くなりました。
Innate artists/stylesで画風指定でキャラ生成
画風の設定や最初からキャラデータがPony Diffusionに入っているとのことでLoRAなしでキャラ生成できます。
その前にアートスタイルがあり、その設定は画風が変わります。
そのアートスタイルは下記URLから確認できます・・・・が大量にあります。
次にPony Diffusionにもプロンプトだけでキャラを表現できます。
https://files.catbox.moe/2ng3n8.txt
キャラはFGOの宮本武蔵で服をsuitで指定します。
SDXL系のプロンプトを除外し、キャラプロンプトをベースに画風を２つランダムにして下記コードで実施。（品質コード込み）
アートのスタイルタグを２つランダムで入れています。
{amano_kozue|hanamasa_ono}
miyamoto_musashi_\(fate\),suit
BREAK
{amano_kozue|hanamasa_ono}
BREAK
score_9, score_8_up, score_7_up, best quality, masterpiece, 4k, uncensored, prefect lighting, rating_explicit, very aesthetic, ついでにネガティブプロンプトに紳士向け除外をいれて実施。
ダメでした。
ネガティブプロンプトの紳士向けは全く反応しないのとsuitも反応せず、服の脱ぎかけのようなものがでました。
shirtとtrousers追加。
・・・・。
最初の時に比べれば格段に質がアップしました。
今回ここまで。
次回、普通の紳士向けじゃないのものかつLoRAなしで満足のできる生成ができる攻略をします。
その次にLoRAを入れて実施の流れで進めたいと思います。
Pony思いのほか難しい・・・。
サポートしていただけると飛び跳ねて喜びます。