Google Colab ではじめる Stable Diffusion Image Variations

2022年9月23日 09:55

「Google Colab」で「Stable Diffusion Image Variations」を試してみました。

1. Stable Diffusion Image Variations

「Stable Diffusion Image Variations」は、「CompVis/stable-diffusion-v1-3-original」を「テキスト埋め込み」でなく「CLIP埋め込み」を受け付けるようにすることで、「DALLE-2」と同様の「イメージバリエーション」を可能にしたモデルです。

これを「Diffusers」で利用するには、「Lambda Diffusers」が必要になります。

2. Colabでの実行

Colabでの実行手順は、次のとおりです。

(1) Colabで新規ノートブックを作成。
(2) パッケージのインストール。

# パッケージのインストール
!git clone https://github.com/LambdaLabsML/lambda-diffusers.git
%cd lambda-diffusers
!pip install -r requirements.txt

(3) StableDiffusionImageEmbedパイプラインの準備

from lambda_diffusers import StableDiffusionImageEmbedPipeline

# StableDiffusionImageEmbedパイプラインの準備
pipe = StableDiffusionImageEmbedPipeline.from_pretrained(
    "lambdalabs/sd-image-variations-diffusers"
).to("cuda")

(4) 右端のフォルダアイコンを押し、「lambda-diffusers」の「︙」の「アップロード」から画像ファイル(input.png) をアップロード。

・input.png

(5) 推論の実行。
lambda-diffusersはdiffusers 0.2.4ベースなので、imagesでなく["sample"]で取得します。

from PIL import Image
from torch import autocast

# パラメータ
im = Image.open("input.png")

# 画像からの画像生成
for i in range(4):
    images = pipe([im], guidance_scale=3.0)["sample"]
    images[0].save(f"output{i}.png")

(6) 生成した画像の確認。
左端のフォルダアイコンでファイル一覧を表示し、output0〜4.pngをダブルクリックします。

この記事が気に入ったらサポートをしてみませんか？