HuggingFace Diffusers v0.32.0の新機能
「Diffusers v0.32.0」の新機能についてまとめました。
前回
1. Diffusers v0.32.0 のリリースノート
情報元となる「Diffusers 0.32.0」のリリースノートは、以下で参照できます。
2. 新しい動画生成パイプライン
このリリースには、新しい動画生成パイプラインが多数含まれています。
詳しくは、このセクションを参照してください。
3. 新しい画像生成パイプライン
このリリースには、新しい学習生成パイプラインが多数含まれています。
・SANA
・Text-to-image
・PAG
・Flux Control (including Control LoRA)
・Depth Control
・Canny Control
・Flux Redux
・Flux Fill Inpainting / Outpainting
・Flux RF-Inversion
・SD3.5 ControlNet
・ControlNet Union XL
・SD3.5 IP Adapter
・Flux IP adapter
・新しいFluxモデルの注意点
通常の「Flux.1 Dev LoRA」を「Flux Control LoRA」「Flux Control」「Flux Fill」と組み合わせることができます。たとえば、「Flux Fill」で数ステップの推論を有効にすることができます。
from diffusers import FluxFillPipeline
from diffusers.utils import load_image
import torch
pipe = FluxFillPipeline.from_pretrained(
"black-forest-labs/FLUX.1-Fill-dev", torch_dtype=torch.bfloat16
).to("cuda")
adapter_id = "alimama-creative/FLUX.1-Turbo-Alpha"
pipe.load_lora_weights(adapter_id)
image = load_image("https://huggingface.co/datasets/diffusers/diffusers-images-docs/resolve/main/cup.png")
mask = load_image("https://huggingface.co/datasets/diffusers/diffusers-images-docs/resolve/main/cup_mask.png")
image = pipe(
prompt="a white paper cup",
image=image,
mask_image=mask,
height=1632,
width=1232,
guidance_scale=30,
num_inference_steps=8,
max_sequence_length=512,
generator=torch.Generator("cpu").manual_seed(0)
).images[0]
image.save("flux-fill-dev.png")詳しくはドキュメントを参照してください。
・SANAの情報
「SANA」は「Flux」などの他のモデルに比べて小型のモデルであり、「Sana-0.6B」は 16GBのノートPC GPU に展開でき、1024×1024 解像度の画像を生成するのに1秒もかかりません。「SANA」のLoRAファインチューニングをサポートしています。
詳しくは、このセクションを参照してください。
4. 新しい量子化バックエンド
このリリースには、新しい量子化バックエンドが含まれています。
・新しい量子化バックエンドの注意点
・「TorchAO」の量子化チェックポイントは現在safetensorsでシリアル化できません。これは将来変更される可能性があります。
・「GGUF」は現在、事前に量子化されたチェックポイントをモデルに読み込むことのみをサポートしています。GGUF量子化によるモデルの保存のサポートは、将来追加される予定です。
5. 新しい学習スクリプト
このリリースには、新しい学習スクリプトが多数含まれています。