SD3用高速化PCM LoRA登場 (XL用おまけ付)

SD高速化技術には、概ね2つの潮流があります。

TensorRT高速化とLoRA高速化、それぞれに一長一短があります。

TensorRTは画質のトレードオフが生じませんが、現時点ではLoRAやControlnetとの互換性が不十分で、特にSDXLではLoRAも効きません。

一方、それらの互換性は高いLoRA系高速化ですが、LCM→Lightning→Hyperと進化しつつありますが、基本的に速度と画質がトレードオフの関係にあります。

そんな中、AnimateLCMなどの技術を開発したFu-Yun Wang氏が、「Phased-Consistency-Model(PCM)」という新たなLoRA系高速化技術を発表し、最近これがSD3にも対応してきたので、早速導入してみました。

Phased Consistency Modelt

４ステップでも、標準的な30ステップとほぼ同等に近い絵にはなりますね。

ベースとなるノードを作成したので、ここからダウンロードできます。

SD3用LoRAは以下からダウンロードできます。

wangfuyun/PCM_Weights at main

SD3のライセンス規定も改訂され、一定条件下では無料アカウントでも商用利用が可能になったので、昨日投稿した「Like DALL-E3」もSD3に改造しようと思います。

SD3におけるTensorRT用ノードも昨日投稿しております。

また、私が普段使いしているSDXL用ワークフローをPCM対応化したバージョンも、おまけに付けます。ここからダウンロードしてください。16Stepsバージョンを使用します。アップスケール部分はCCSRを使用します。

まだ、それほど多くのテストをした訳ではありませんが、PCM LoRAはどうもA1111で特定のLoRAが効かなくなるようです。

私の環境では、ComfyUIの方が狙った絵になります。

そして、当たり前ですが速いですね。

16StepsだとSDXL Hyperの12Stepsよりは速度的には落ちますが、LCMやLightningに比べて画質が向上しているのは体感で分かります。

また、SDXL Hyperに対しても、Hyperでは使えなかったLoRAやサンプラーがPCMでは使える為、16Stepsだと速度はHyperに劣るとしても現実的にHyperより用途が確実に広くなっています。

例えば上の猫の絵は、DPM_PP_3M_SDE_GPUを使っていますが、Hyperは勿論、LCMでもLightningでも使えなかったサンプラーです。