【備忘録】VAEに関してのあれこれ【FANBOX復刻】

こちらは個人的な備忘録です。

まず、sp8999さんの記事をご紹介させてください。

VAEについて

　Stablediffusionで画像を生成する際にはモデルというものが必要である、というのはわかりやすいのですが、VAEというものも重要なものです。

　AnythingV3なんかを初めて使ったときは、画面全体の彩度が落ちてしまって、

「なんかi2iする度に色褪せてくんだけどー！？😭」

って焦ったものです。

　これはモデルを変更したのにVAEを設定していなかった為に起こりました。

　モデルによってはVAEを同封することでいちいち設定を必要としないものもありますので、そういったモデルの場合は気にしなくて良いでしょう。

　詳しい説明は是非sp8999さんの記事をお読みください。

　私は ふいんき（なぜか変換できない）でwebUIを使っているので、なんとなくボヤっとしたイメージでしか理解できていません。

　一応自分なりに検証したものを出しておきます。

---

主なVAEの紹介

anything-v4.0.vae.pt

彩度淡め、パッキリ感弱め。グラデーションが得意。

vae-ft-mse-840000-ema-pruned.safetensors

彩度少し淡め。kl-f8-anime2.ckptとも近い。グラデの仕上がりは綺麗。
ナチュラルな印象。

autoencoder_fix_kl-f8-trinart_characters.ckpt

彩度少し高め、健康的な肌が出しやすい。
パキっとした絵作りに向きそう。

kl-f8-anime.ckpt , kl-f8-anime2.ckpt

kl-f8-anime.ckpt は彩度高め。少しピンク紫系の色味に変化する。
kl-f8-anime2.ckpt は若干彩度淡め。ナチュラルな印象。

---

　私のような雰囲気でＡＩイラストを作っているタイプの者からすると、こういった解説記事は本当にありがたいものですね。🐣✨

個人的お勧めVAE

VAEのマージを公開しました。
色々テスト中なので、あまり細かくは検証できていませんが、色味だけはいい感じの所に着地したと思います。エロゲとかラノベっぽい塗りのタッチが好きな人は好きなんじゃないかな（？）https://t.co/vyGBu7KQ2b#stableDifusion

— sp8999＠加筆勢 (@sp8999) March 5, 2023

　　現在私は sp8999さんがこちらのツイートで公開してくださったこの２つをメインに使わせて頂いています。

mse840000_klf8anime.vae.pt

１の方が彩度が高めでピンクよりの影が入るそうな。

mse840000_klf8anime_klf8anime2.vae.pt

殆ど違いはないので、お好みで。

---

その他 お勧めの VAE

Starrylie[AH]VAE

かなりお勧めできるナチュラル系VAEです。
2Dでも3Dでも使える万能型に感じます。

Starrylie[AH]VAE - AH | Stable Diffusion Checkpoint | Civitai

clearvae_main.safetensors

こちらもお勧めできる万能系ですね。
Starrylie[AH]VAE に比べるとほんの少し色が明かるめ＆薄めです。

ClearVAE - v2.3 | Stable Diffusion VAE | Civitai

ClearVAE_V1.1.safetensors

V1.1 が 2D系にお勧めされているのを見たので検証してみました。
上のClearVAE_V1.1.safetensorsにも近い色味ですが、こちらの方がくっきりしますね。

ClearVAE - v1.1(Variant) | Stable Diffusion Checkpoint | Civitai

ClearVAE_V2.3.safetensors

ClearVAE の V2.3の方です。
こちらはリアル系の方が向いてそうな印象をうけました。
Verが沢山あるので、自分に合ったものを探してみるのも良いかと思います。

ClearVAE - v2.3 | Stable Diffusion Checkpoint | Civitai

---

VAE を SD WebUI に追加する方法

ダウンロードしたVAEモデルを

stable-diffusion-webui\models\VAE

に入れれば追加されます。

stable-diffusion-webui\models\VAE

---

新しいVAEをデフォイルトに設定する方法

settingタブ → Stable Diffusion項 → SD VAE 欄で選択

選択出来たら Apply setting で保存し、REload UI で再起動させればＯＫ

また、

Ignore selected VAE for stable diffusion checkpoints that have their own .vae.pt next to them Inpainting conditioning mask strength

にチェックを入れると、モデルにVAEが同封されていた場合に、同封VAEを優先して使ってくれるようになります。

---

VAEを気軽に選択できるようにしたい

　とーふのかけらさんが clipskip と一緒に VAE選択項目も追加する方法をツイートしてくれていました。

手軽にVAEも変更できるように、VAE設定とClip SkipをUIに常時表示しちゃいましょう！

[設定] -> [ユーザーインターフェース] ->[クイック設定]に以下を入力し、[設定を適用]するだけです！🥹

sd_model_checkpoint,sd_vae,CLIP_stop_at_last_layers

enjoy!!🥰#stablediffusion #AUTOMATIC1111

— とーふのかけら (@konapieces) April 23, 2023

settingタブ → User interface項 → Quicksetting list 欄に

sd_model_checkpoint,sd_vae,CLIP_stop_at_last_layers

と打ち込んで保存。

VAEだけなら sd_model_checkpoint,sd_vae だけで大丈夫

　すると、WebUI 画面の最上部に VAE選択欄が追加されます。

clipskipはその右隣に出てますね

---

VAEを自分で調整したい

　また、以下のようなVAEの調整ができるものが出ているようです。

まーた便利なの出てきた。
VAEの彩度とコントラストだけいじれるhttps://t.co/S9mx5SFEcg

— sp8999＠加筆勢 (@sp8999) March 7, 2023

　まだこちらは私も試せていないので、使用した際はまた記事にしてみようと思います。