Stable Diffusionを動かすためのメモ

これはモデルのディテールアップのための参考資料を作成する目的で、モデルの画像をもとにimg2imgでアレンジさせる方法

これで作成したものは参考になるが、そのまま使うことはなく、実際にはこれをヒントにディテールを考えながら自前でテクスチャを描き込んでいく

1. run.batを立ち上げ
   （ショートカットを作っておいても良い）

2. コマンドプロンプトが立ち上がり実行、立ち上がりに時間がかかる

3. 立ち上がると、番号のURLが表示されるので、それをブラウザで見る（画像1）

4. ブラウザ上でインターフェース画面が表示される

5. img2imgを使うこととする（画像2）

6. シードより下の覧にあるcontrolnetの▲をクリックして展開、有効化チェックをONにする（画像3）

7. controlnetのプリプロセッサとモデルを設定、両方が同じものであること（画像4）

8. （必要に応じて）LORAを設定、生成ボタン下の花札アイコンをクリック、そこで開いたUIからLORAタブを選択、そこにLORAのモデルが表示されるので選択
   （選択するとプロンプトに<>で囲まれてLORA指定が自動記入される）

9. もとにする画像の準備
   画像は正方形であること
   背景透過はないこと

10. 用意した画像を、img2imgの指定覧、controlnetの指定覧両方に入れて、生成ボタンクリックで実行される

11. controlnetでは画像を線画にしてから、新たな絵を生成する
    プリプロセッサ、モデルで検出方法を変えたものが何種かある

12. LORAは画像を水彩調からアニメ調に変えるものを選んでいる
    使ったり使わなかったり比較しながら使う

13. img2imgの画像は線画抽出用、controlnetの画像は再作成時の彩色ヒント用ではないかと思われるが確かではない

14. 画像はフォルダに自動格納される、フォルダへのアクセスは生成画像下のフォルダアイコンボタンクリックで展開する

（画像1）コマンドプロンプトで指定された番号のURL

（画像2）img2imgの選択

（画像3）controlnetを展開、有効化チェックON

（画像4）プリプロセッサとモデルを設定

（画像5）LORAの選択

（画像6）画像格納先フォルダへのアクセス後に、別の設定でほしい感じを出してくれる方法を教えてもらったので、追記しておく。

その②

この場合、LORAは使わない。重要なのは"CFGスケール"と"ノイズ除去強度"ではないかとのこと。

コツは、"ノイズ除去強度"を0.5以下にすると、元絵の形がだいぶ残ってくるので、丁度よい数字を探しつつ、汚い結果なら"CFGスケール"を少しずつ上げる。とのこと。

上の手順の、1～5 までは全く同じ。その次から。

1. 同上

2. 同上

3. 同上

4. 同上

5. 同上

6. プロンプトに下記条件を入れる(画像7も参照)
   上段
   masterpiece, (high Quality:1.4), super fine illustration,
   下段
   Easynegative,bad_prompt_virsion2,(worst quality, low quality:1.4),flat color,flat shading, retro style, poor quality, bad face, bad fingers, bad anatomy, missing fingera, low res, cropped, signature, watermark, username, data, artist name, text, multiple angle, blurry, lowers, extra digit, fewer digits, error, normal quality, 2koma, panel layout, (nsfw:1.4),

7. "CFGスケール"は10、"ノイズ除去強度"は0.44に。(画像8)
   とりあえずこの数値で試して、さらに調整は上に書いたようなコツに従う。

実際に幾つか試したところ、これだけで行ける場合も、イマイチな場合もある。ノイズ除去とCFGスケールの調整のほか、上記の様にcontrolnetやLORAを併用して試すのも一定の効果がある。

（画像7）プロンプトの条件付け

（画像8）CFGスケールとノイズ除去強度の設定基本値