HuggingFace Diffusers v0.11.0の新機能

「Diffusers v0.11.0」の新機能についてまとめました。

前回

1. Diffusers v0.11.0 のリリースノート

情報元となる「Diffusers 0.11.0」のリリースノートは、以下で参照できます。

2. Karlo unCLIP

「Karlo」はOpenAIのunCLIPアーキテクチャをベースにした、テキスト条件付き画像生成モデルで、64pxから256pxまで標準的な超解像モデルよりも向上し、少ないノイズ除去ステップで高周波の詳細を回復させます。

このα版のKarloは、COYO-100M高品質サブセット、CC3M、CC12Mを含む115Mの画像-テキストペアで学習しています。アーキテクチャの詳細については、Karloリポジトリを参照してください。

pip install diffusers transformers safetensors accelerate

import torch
from diffusers import UnCLIPPipeline

pipe = UnCLIPPipeline.from_pretrained(
　　　　"kakaobrain/karlo-v1-alpha", 
　　　　torch_dtype=torch.float16
)
pipe = pipe.to("cuda")

prompt = "a high-resolution photograph of a big red frog on a green leaf."
image = pipe(prompt).images[0]

3. コミュニティパイプラインのバージョン管理

「diffusers/examples/community」にホストされているコミュニティパイプラインは、インストールされたライブラリのバージョンに従うようになりました。例えば、diffusers=0.9.0 をインストールしている場合、v0.9.0 ブランチのパイプラインが使用されます:

「pip install git+https://github.com/huggingface/diffusers」などでソースから diffusersをインストールした場合、最新バージョンのパイプラインをmainブランチから取得します。

カスタムパイプラインのバージョンを変更するには、custom_revisionを以下のように設定します。

pipeline = DiffusionPipeline.from_pretrained(
  　　"google/ddpm-cifar10-32", 
　　　　　　custom_pipeline="one_step_unet", 
　　　　　　custom_revision="0.10.2"
)

4. safetensors

重要なチェックポイントの多くで、「safetensors」 が利用可能になりました。

さらに、以下のコマンドでインストールすると、モデルをロードする際に、スピードアップが見られます。

pip install safetensors

最も重要なチェックポイントにsafetensorウェイトが追加されました。

・https://huggingface.co/stabilityai/stable-diffusion-2
・https://huggingface.co/stabilityai/stable-diffusion-2-1
・https://huggingface.co/stabilityai/stable-diffusion-2-depth
・https://huggingface.co/stabilityai/stable-diffusion-2-inpainting

次回

Unityではじめる機械学習・強化学習 Unity ML-Agents 実践ゲームプログラミング v2.2対応版