見出し画像

Stable Diffusion WebUI 忘備録

かたらぎ


自著

　NovelAIの登録方法から各種設定の意味とプロンプトの書き方や画風までを網羅した解説書

　SDwebUIなどで使える画像生成AIのモデルを画像と特徴、推奨設定などが一覧で見られるカタログ

総合資料

画像生成AIの詳しい仕組みと歴史について詳しく書かれた資料

画像生成AIでよく使われる用語の解説

LoRA

　簡単に言えば素材となる画像を20～30枚程度用意し、AIに特徴を覚えさせることで人物や、背景、絵柄などを簡単に変更できるファイルのこと。
　例えばキャラクターの髪や目や服の色がまちまちだったり、そもそもうまく出せなかったりそんな悩みを解消します。

　既存のLoRAを自分の環境で使いたい場合はcivitaiなどからダウンロードしてください。

　ダウンロードしたファイルはいつもモデルを入れてるフォルダの一つ上にLoraというフォルダーがあるのでそこに入れます。

　線画を簡単に作成できるLoRAなどキャラクター以外のもあります。


　自分でLoRAを作りたい場合は、webUI風のGUIでLoRAなどの学習がローカル環境できるスターンドアローン型の学習環境があります。導入方法はこちら。

　自分のパソコンにＧＰＵがない、貧弱で学習に時間がかかる場合にpaperspace（クラウドGPU）を使って学習する方法があります。

　上記の解説サイトでわからないことがある場合↓

LoRAの学習でタグ付けをするときの注意点

　正則化画像は学習する画像以外の要素が含まれた絵を通常は使用しますが透過PNGを使用すると質が向上するという人もいます。しかし、その方法に関しては賛否両論あり最終的には個人の好みになりそうです。

　３Dキャラクターを使って学習することもできます。タグ付けの基礎が学べるのでお勧めです。

extension（WebUI拡張機能）

　最近出た便利な拡張機能がまとめられてます。

LoRAの階層マージで手指の破綻を減らす方法

コントロールネット(ControlNet)

コントロールネット導入方法


コントロールネットの用途ごとの解説

コントロールネットはSD2.1系では違うバージョンを使わなければならないが現在発表されているのは性能が微妙らしいです。

オープンポーズ(openpose)

　ボーンと呼ばれる棒人間のようなものを使って人物のポーズを決めさせることができます。WebUI内で編集できるopenpose Editorが非常に便利。

　指まで指定できる3D Openpose EditorのWebUI拡張

深度マップ(sd-web-ui-depth-lib)

　深度マップ（depth）とよばれる白もやのようなものを使ってAIに輪郭などを指示する方式です。

背景の削除


hugging Face上で背景の切り抜き


イメージフィルター（Image Filters）



拡張機能の翻訳が追い付いていないため


エクステンショントレインツール
安定した拡散性のあるウェブイ訓練補助拡張は、LoRAなどのモデルを素早く視覚的に訓練することができます。




ラテントカップル（Latent Couple）

　従来のプロンプトでは難しかった二人以上の塗り分けを画面を分割してAIに描かせることができるWebUI拡張機能です。


カットオフ（sd-web-cutoff）

　プロンプトの要素を増やしていくと無視されていくプロンプトを反映させやすくするWebUI拡張機能。例として挙げられている色移り防止のほかにも身に着けるものが多い場合に有効。

その他

　ダウンロードしたモデルやLoRAなどと同じ名前のものがあったらcivitaiから自動でサムネを取得する拡張機能


　画像のようにプロンプトをボタン一つで入力できるするようにする拡張機能。有志により改造ファイルなどが配布されている。

　　京すけ先生の背景コレクション50のプロンプトを追加するファイルもある。


「DAAM」とは「diffusion attentive attribution maps」の略で、 入力したテキストが、画像のどの部分に影響しているかを可視化する機能。


色調補正

NovelAIのように単語の候補を出してくれるWebUI拡張機能

画像を比率をボタン一つで指定できるWebUI拡張機能

　生成した画像をピクセルアート化できるWebUI拡張機能


　あらかじめ決めておいたワードをランダムでプロンプトに追加するWebUI拡張機能。プロンプトで直接指定するdynamic promptと外部のファイルに記述して配置するWildcardの二通りの方式がある。

dynamic prompt

Wildcard

　生成された画像のいらない部分をインペイントより正確に消せるWebUI拡張機能


VAEのマージ


トラブルシューティング

WebUI便利機能・考察

総合資料

WebUI本家英語版マニュアル

情報が古いのもあるが今でも役立つ機能解説などが豊富にある

#AIイラストどうでもいい豆知識では様々な情報が載せられています 。玉石混交ですが一応掲載。

単純マージ

　2つか3つのモデルを組み合わせて新しいモデルを作るマージにはどちらのモデルに寄せるか一つのスライドバーで指定する単純マージと、モデルの特徴を23のパラメーターに分けた階層マージがある。

階層マージ(merge-block-weighted)

　通常マージモデルを作成するときいちいちモデルを保存して読み込み、確認しなければならなかったが、これでは一括で比較できる。便利だが難易度が一番高い。

　階層ごとの特徴を知りたい場合はいかが参考になる。

階層マージモデル比率逆算

自動階層マージ(autoMBW)

Hyper Network


アップスケーラー・高解像度化・ハイレゾ(Hires.fix)






GPU性能比較

インペイント(inpaint)


サンプラー(Sampler)


クリップスキップ(clipskip)




webui高速化

webUI最適化の方法（webui-user.batに記載）


Lismith

その他






モデル一覧に掲載されていないモデル

モデル



LoRA



VAE

データセット



作品制作過程


プロンプト





画風・構図

背景



キャラクターの服装に困ったら

チェック柄のスカート、指の爪、キアロスクーロ

ネガティブプロンプト

ネガティブエンベディング



Defpoint



Morito

しかめっ面

パジャマ

よその子出力プロンプト

サラトバ

google colob


paperspace




外部お役立ちアプリ等




python


にじジャーニー(nijijourney)

法律・倫理

AIイラスト全般



モデルのライセンス

NovelAIリーク派生モデルの見分け方


この記事が気に入ったらサポートをしてみませんか？