Hyper-SD LoRA for Flux1 by ByteDance
またもFlux1高速化の為の救世主登場です。
Stable Diffusionの世界では相当貢献度が高い、「TikTok」の運営元として知られる中国のByteDance社は、SD1.5、SDXL、SD3においても高品質な高速化LoRAである「Hyper-SD」を開発してきましたが、
Flux1に対しても遂にHyper-SD LoRAを開発し、公開しました。
高速化LoRAの歴史を簡単に解説すると、LCM→Lightning→Hyper→PCMの順です。
ここはやはり、最新技術であるPCMでのFlux1版を期待したいですが、やはりByteDance社は何と言っても母体が大企業なので、何でも早いです。
(そもそも、SD高速化LoRAの開発元は全て中国系の企業や大学、研究機関です。彼ら抜きでは画像生成AIの世界自体が成り立たないと言っても過言ではない位の貢献度です。ForgeやControlNet、Fooocus、IC-Light等を開発した「天才」lllyasviel氏も中国系のエンジニアです)
「中国」という文字を目にしただけで目つきがおかしくなる、そこの貴方。Forge使うのを辞めますか ? ControlNet捨てますか ? Flux1の高速化諦めますか ? どうぞご自由に。
ともあれ早速、ここまで私が作成した、Flux1用のベースフローを全てHyper-SDに対応させました。
尚、以下の3つのベースフローは私の環境ではflux1-dev.sftを
使用しても、Sampler処理中のVRAM消費は12GB未満で収まります。起動オプションは通常(※--fastは使用)で、low-vramを使わなくとも、です。
尚、ControlNet UnionとIP-Adapterは4steps前提のschnellで作成している為、Hyper-SD化する意味がないので、作成していません。
(何をどうやっても共有VRAMを使うしかないので、schnell前提でしか実用的な速度を担保できない)
画像も、いい感じに作成されます。以下は全て16stepsですが、8stepsでもそんなに遜色はないかと思います。
また、これまでがそうであったように、最初からHyper-SD技術を盛り込んだベースモデルの開発も期待できるようになりました。
実はHyper技術を取り入れたベースモデルは余り多くありません。LCMは勿論Lightningからもかなり品質は向上しているので、使わないと勿体ない機能なんですが。
PCMに至っては、Hyper以上の品質を担保できていると思えるのですが、何故かほとんど話題になっていません。PCM技術を適用したベースモデルに至っては、見たことすらありませんね。
私は、過去作成してきたSD1.5とSDXLのプロンプトには全て16steps PCMを適用している位です。
下のHyper技術適用モデルは、私も16stepsで常用しています。かなり、いい絵が出来ます。