【ComfyUI】stable diffusion3のモデルを導入して、イラストを生成してみた
先日stable diffusion3のモデルが遂に、無料公開されることになりました。
以前紹介したApiを使っての利用ではなくて、完全に無料での公開となります。
また、以前よりも負荷が軽減されて、要求されるPCのスペックも減ったようです。
なので、早速ComfyUIでそのお力を試してみようじゃあありませんか。
ComfyUIをまだお持ちでない方は以下の記事を参考にしていただいて、先に導入をお願いします。
また、拡張機能を簡単に入れる「ComfyUI-Manager」を以下の記事から導入してください。
stable diffusion3の導入
最初にSD3で使うのに必要なモデルなどをダウンロードしましょう。
以下のリンクカードからHuggingFaceに移動しましょう。
いつも通りファイルをダウンロードしようとするとログインをしてくださいというのを求められると思います。
恐らく多くの方が登録されていないと思うので、新規登録を行って一度ログインをします。
再度開きなおすと以下のようにファイルが表示されます。
①モデルのダウンロード
この中から、以下の項目のいずれかをダウンロードしましょう。
ファイルの容量が結構大きいので、時間に余裕があるときにやるのがお勧めです！
今回は「sd3_medium_incl_clips_t5xxlfp16.safetensors」をダウンロードし用と思います。
以下モデルの説明
sd3_medium.safetensors→MMDiTとVAEの重みが含まれていて、テキストエンコーダーは含まない
sd3_medium_incl_clips.safetensors→T5XXLテキストエンコーダー以外のすべての必要な重みが含まれています。
sd3_medium_incl_clips_t5xxlfp16.safetensors→fp16バージョンのT5XXLテキストエンコーダーを含む、すべての必要な重みが含まれています。その分求められるスペックが大きくなります。
sd3_medium_incl_clips_t5xxlfp8.safetensors→fp8バージョンのT5XXLテキストエンコーダーを含む、すべての必要な重みが含まれています。fp16より軽量です。
MMDiT？T5XXLテキストエンコーダー？と思った方もいらっしゃると思います。
以下のサイトで詳しく解説されているので、ご興味がある方はこちらをお読みください。
ダウンロードしたら、modelのフォルダに入れましょう。
②テキストエンコーダーのダウンロード
次にテキストエンコーダーのダウンロードを行います。
上の方に「text_encoders」というフォルダがあるので選択します。
以下のテキストエンコーダーを全てダウンロードします。
ダウンロードしたらmodelsの中のclipフォルダにファイルを入れます。
生成してみる
サンプルのワークフローがあるので、そちらを利用してみます。
Hugging Faceのページの上の方にサンプルのワークフローがあるので、そちらのフォルダからサンプルをダウンロードします。
それをComfyUI上で展開してみます！
upscaleのワークフローがあったので、そちらから試してみます。
おお、これまであまり使ったことがないノードがありますね。
もしも、ワークフローを入れたときに必要なカスタムノードがない場合には、Managerを開いて、Install Missing Custom Nodesを開いて、必要なカスタムノードをインストールしましょう。
それでは、最初は特にいじらないでそのまま生成しようと思います。
モデルの項目を「sd3_medium_incl_clips_t5xxlfp16.safetensors」にします。
そのあと、すでにモデルの中にテキストエンコーダーが含まれているので、
TripleCLIPLoaderを消して、CLIPはモデルから引きます。
すごい綺麗ですね。
こうなったら、いつものドット絵を試してみましょう！
どんなのが出てくるのかな？ワクワク！
おお、ちゃんとドット絵ですね！
loraも使っていないので、すごいクオリティです。
今度は通常のイラストで出力してみます。
綺麗に描けていますね。
ただ、まだ少し試行錯誤が必要ですね。
今度は風景を出してみようと思います。
図書館を出力してみました。
普通にきれいですね！
そういえば、stable diffusion3で文字が入れられるのを忘れていました。
早速やってみましょう！
すごい！ちゃんと出た。
もしかして、マンガとかも描けたりするのかな…。
最後にリアルの人物を描いてみます。
かっこいいですね。夢の中の私のようです。
やってみた感想
やっぱり大きなバージョン更新は変化が多くて楽しいですね！
全体的に画質も良いので、文字の生成などを試しながら、
SD3を研究をしてみたいと思います。
それでは皆様よき創作ライフを…！
この記事が気に入ったらサポートをしてみませんか？