Google Colab で Stable Diffusion 2.1 を試す - diffusers版
「Google Colab」+「diffusers 0.10.0」で「Stable Diffusion 2.1」を試したのでまとめました。
・diffusers 0.10.0
1. Stable Diffusion 2.1
「Stable Diffusion 2.1」は以下のリポジトリで公開されています。
・stabilityai/stable-diffusion-2-1 : 768x768
・stabilityai/stable-diffusion-2-1-base : 512x512
2. Colabでの実行
Colabでの実行手順は、次のとおりです。
(1) 新規のColabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」を選択。
(2) パッケージのインストール。
# パッケージのインストール
!pip install --upgrade diffusers[torch] transformers(3) パイプラインの準備。
from diffusers import StableDiffusionPipeline, EulerDiscreteScheduler
import torch
# パイプラインの準備
model_id = "stabilityai/stable-diffusion-2-1"
pipe = StableDiffusionPipeline.from_pretrained(
model_id,
scheduler=EulerDiscreteScheduler.from_pretrained(
model_id,
subfolder="scheduler"
),
torch_dtype=torch.float16
).to("cuda")
pipe.enable_attention_slicing()(4) テキストからの画像生成。
# テキストからの画像生成
prompt = "a photo of an astronaut riding a horse on mars"
image = pipe(prompt, height=768, width=768).images[0]
image