Stable Diffusion 備忘録-モデル
Stable Diffusionを導入したので、ここではモデルについてまとめる。
モデルとは
モデルとは、AIが学習してきた知識の塊というべきもので、このモデルの中に過去に学んだ画像の情報が含まれている。モデルが異なると生成される絵もテイストが大きく異なってくる。
たとえば同じプロンプト、同じネガティブプロンプトで異なる3つのモデルを使用して画像を生成してみた。
プロンプト
super fine illustration, an extremely cute and beautiful girl with cat ears, highly detailed beautiful face and eyes, look at viewer, cowboy shot, beautiful white hair, loli, solo, dynamic angle, beautiful detailed dress with frills, magic circles, pink tone , flat color, flat shading
ネガティブプロンプト
flat color, flat shading, nsfw, retro style, poor quality, bad face, bad fingers, bad anatomy, missing fingers, low res, cropped, signature, watermark, username, artist name, text
生成例①
モデル
<Korakoe/OpenNij-V2>
生成例②
モデル
<anything v4.5>
生成例③
モデル
<Pastelmix>
どれも2次元に特化したモデルではあるが、結構異なるテイストになった。
ちなみに2枚目が好き。
あとイラスト自動生成はどうも指を描くのがまだ苦手らしく、崩壊気味ではある。（一応ネガティブプロンプトに指に関する文言は入れているが反映されていないのか、はたまたカメラワークやポージングが問題なのか…）
モデルの入れ方
ざっくり流れをまとめると
1.欲しいモデルのページにアクセス
2.Model cardを読む
3.Files and versionsからファイルを選択し、DLする
4.ディレクトリに移動させ、Stable Diffusionを再読み込み
これで使えるようになる。
1.欲しいモデルのページにアクセス
モデルを色々置いているサイトからDLする。
だいたいHugging Faceかcivitaiで落とすことができる。
（ここではHugging Faceでのやり方を記載）
2.Model cardを読む
モデルによってはいくつか種類があるものもあるため、Model cardに書いてあるディスクリプションを確認しておいたほうがいいと思う。
3.Files and versionsからファイルを選択し、DLする
モデルファイルには2種類の拡張子（.ckptと.safetensors）がある。どちらもモデルファイルではあるが、safetensorsが安定版でセキュリティ面も安全かつ、読み込み速度も若干早いと言われているらしいので、どっちもある場合はsafetensorsを選んでおくと良いかも。
また、モデルファイルもいくつか名前がある。
prunedという名前のファイルがよくあるが、これはフルファイルから不要なものを取り除いてサイズを抑えたファイルである。
・モデル名.safetensors：フルサイズ安定版
・モデル名-pruned.safetensors：prunedの安定版
・モデル名-prumed.ckpt：prunedのチェックポイントファイル
・モデル名-prumed-fp32.ckpt：fp32（単精度浮動小数点演算）
・モデル名-prumed-fp16.ckpt：fp16（半精度浮動小数点演算）
※上からファイルのサイズが大きい順（だいたい）
個人的には容量にも余裕があるので基本的にはフルファイルのsafetensorsを入れるようにしている。ストレージ容量を抑えたい人はprunedのsafetensorsがいいかもしれない。
（モデルによって異なるがフルファイルは10GB近いのもある）
ちなみに小さいファイルにしたからといって出力画像のレベルが大きく下がることはないらしい。
4.ディレクトリに移動させ、Stable Diffusionを再読み込みする。
DLしたデータをディレクトリの /stable-diffusion-webui/models/Stable-diffusion/ に保存すればOK。
あとはStable Diffusionを再読み込みすれば、一番左上のプルダウンに追加したモデルが表示されるようになる。（されていなかったらプルダウン右横の更新ボタンを押すと更新される）
色々リンク集
今回使用したモデルのページ。
その他いろんなモデルをまとめているサイト
個人的に気に入ったモデル
Counterfeit V2.5
anything v4.0・v4.5
anything v5
7th_Layer
waifu-diffusion v1.4
yden V2
ChilloutMix（リアル系）
OrangeMix
CarDos Anime
この記事が気に入ったらサポートをしてみませんか？