Google Colab ではじめる Stable Diffusion Image Variations
「Google Colab」で「Stable Diffusion Image Variations」を試してみました。
1. Stable Diffusion Image Variations
「Stable Diffusion Image Variations」は、「CompVis/stable-diffusion-v1-3-original」を「テキスト埋め込み」でなく「CLIP埋め込み」を受け付けるようにすることで、「DALLE-2」と同様の「イメージバリエーション」を可能にしたモデルです。
これを「Diffusers」で利用するには、「Lambda Diffusers」が必要になります。
2. Colabでの実行
Colabでの実行手順は、次のとおりです。
(1) Colabで新規ノートブックを作成。
(2) パッケージのインストール。
# パッケージのインストール
!git clone https://github.com/LambdaLabsML/lambda-diffusers.git
%cd lambda-diffusers
!pip install -r requirements.txt
(3) StableDiffusionImageEmbedパイプラインの準備
from lambda_diffusers import StableDiffusionImageEmbedPipeline
# StableDiffusionImageEmbedパイプラインの準備
pipe = StableDiffusionImageEmbedPipeline.from_pretrained(
"lambdalabs/sd-image-variations-diffusers"
).to("cuda")
(4) 右端のフォルダアイコンを押し、「lambda-diffusers」の「︙」の「アップロード」から画像ファイル(input.png) をアップロード。
・input.png
(5) 推論の実行。
lambda-diffusersはdiffusers 0.2.4ベースなので、imagesでなく["sample"]で取得します。
from PIL import Image
from torch import autocast
# パラメータ
im = Image.open("input.png")
# 画像からの画像生成
for i in range(4):
images = pipe([im], guidance_scale=3.0)["sample"]
images[0].save(f"output{i}.png")
(6) 生成した画像の確認。
左端のフォルダアイコンでファイル一覧を表示し、output0〜4.pngをダブルクリックします。
この記事が気に入ったらサポートをしてみませんか?