Google Colab で Stable Diffusion 2.0 を試す (仮)

「Google Colab」で「Stable Diffusion 2.0」を試したのでまとめました。

diffusers版まだなかったのでStable Diffusionリポジトリを使い、デフォルト実行だとメモリ足りなかったのでColab Proのプレミアムを使いました。

【最新版の情報は以下で紹介】

1. Stable Diffusion 2.0

「Stable Diffusion 2.0」は以下のリポジトリで公開されています。

2. Colabでの実行

Colabでの実行手順は、次のとおりです。

(1) 新規のColabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」の「プレミアム」を選択。

(2) Googleドライブのマウント。
あらかじめGoogleドライブのマイドライブ直下に「work」フォルダを作成しておきます。

# Googleドライブのマウントと作業フォルダへの移動
from google.colab import drive
drive.mount('/content/drive')
%cd '/content/drive/My Drive/work'

(3) パッケージのインストール。

# パッケージのインストール
!pip install transformers==4.19.2 diffusers invisible-watermark
!pip install pytorch_lightning omegaconf einops open-clip-torch

(4) 「Stablele Diffusion」のインストール。

# StableDiffusionのインストール
!git clone https://github.com/Stability-AI/stablediffusion
%cd stablediffusion
!pip install -e .

(5) HuggingFaceのページから「Stable Diffusion 2.0」の768x768で学習したモデル「768-v-ema.ckpt」をダウンロードし、「/content/drive/My Drive/work/stablediffusion/」に配置。

768-v-ema.ckpt · stabilityai/stable-diffusion-2 at main

(6) テキストからの画像生成。

# テキストからの画像生成
!python scripts/txt2img.py \
    --prompt "a professional photograph of an astronaut riding a horse" \
    --ckpt 768-v-ema.ckpt \
    --config configs/stable-diffusion/v2-inference-v.yaml \
    --H 768 --W 768

「/content/drive/My Drive/work/stablediffusion/outputs/」に画像が出力されます。

Unityではじめる機械学習・強化学習 Unity ML-Agents 実践ゲームプログラミング v2.2対応版