![見出し画像](https://assets.st-note.com/production/uploads/images/93710944/rectangle_large_type_2_50d214533410dd05dabd9567bf5898c4.png?width=1200)
HuggingFace Diffusers v0.11.0の新機能
「Diffusers v0.11.0」の新機能についてまとめました。
前回
1. Diffusers v0.11.0 のリリースノート
情報元となる「Diffusers 0.11.0」のリリースノートは、以下で参照できます。
2. Karlo unCLIP
「Karlo」はOpenAIのunCLIPアーキテクチャをベースにした、テキスト条件付き画像生成モデルで、64pxから256pxまで標準的な超解像モデルよりも向上し、少ないノイズ除去ステップで高周波の詳細を回復させます。
このα版のKarloは、COYO-100M高品質サブセット、CC3M、CC12Mを含む115Mの画像-テキストペアで学習しています。アーキテクチャの詳細については、Karloリポジトリを参照してください。
![](https://assets.st-note.com/img/1671522512669-hT4aCalFZs.png?width=1200)
pip install diffusers transformers safetensors accelerate
import torch
from diffusers import UnCLIPPipeline
pipe = UnCLIPPipeline.from_pretrained(
"kakaobrain/karlo-v1-alpha",
torch_dtype=torch.float16
)
pipe = pipe.to("cuda")
prompt = "a high-resolution photograph of a big red frog on a green leaf."
image = pipe(prompt).images[0]
![](https://assets.st-note.com/img/1671522987937-kasFvslGL5.png?width=1200)
3. コミュニティパイプラインのバージョン管理
「diffusers/examples/community」にホストされているコミュニティパイプラインは、インストールされたライブラリのバージョンに従うようになりました。例えば、diffusers=0.9.0 をインストールしている場合、v0.9.0 ブランチのパイプラインが使用されます:
「pip install git+https://github.com/huggingface/diffusers」などでソースから diffusersをインストールした場合、最新バージョンのパイプラインをmainブランチから取得します。
カスタムパイプラインのバージョンを変更するには、custom_revisionを以下のように設定します。
pipeline = DiffusionPipeline.from_pretrained(
"google/ddpm-cifar10-32",
custom_pipeline="one_step_unet",
custom_revision="0.10.2"
)
4. safetensors
重要なチェックポイントの多くで、「safetensors」 が利用可能になりました。
さらに、以下のコマンドでインストールすると、モデルをロードする際に、スピードアップが見られます。
pip install safetensors
最も重要なチェックポイントにsafetensorウェイトが追加されました。
・https://huggingface.co/stabilityai/stable-diffusion-2
・https://huggingface.co/stabilityai/stable-diffusion-2-1
・https://huggingface.co/stabilityai/stable-diffusion-2-depth
・https://huggingface.co/stabilityai/stable-diffusion-2-inpainting
次回
この記事が気に入ったらサポートをしてみませんか?