ComfyUI-ELLAを試してみた

以前、記事に記載したELLA diffusionですが、ComfyUIで試すことが出来ます。
ワークフローもあります。

導入方法
モデルの配置
Githubサイトから以下のモデルをダウンロードして配置する必要があります
クリックすると行けるhuggingfaceのサイトからダウンロードできます。

配置場所は「models」フォルダーで新たに作成する必要があります。
「ella」フォルダーに
ella-sd1.5-tsc-t5xl.safetensorsをダウンロードして入れる。
「ella_encoder」フォルダーに「models--google--flan-t5-xl--text_encoder」フォルダーを作成して、以下のものをすべて配置します。

こんな感じのフォルダーになると思います。

ワークフローはGithubサイトにあります。確かに、CLIPが使用されていません。
confyui managerでワークフローを読み込んで、不足分のノードをインストールすれば生成出来ます。

ここに記載されているプロンプトは以下のものです
a large, textured green crocodile lying comfortably on a patch of grass with a cute, knitted orange sweater enveloping its scaly body. Around its neck, the sweater features a whimsical pattern of blue and yellow stripes. In the background, a smooth, grey rock partially obscures the view of a small pond with lily pads floating on the surface.
和訳
手触りのよい大きなグリーンのワニが草原に気持ちよさそうに横たわり、そのうろこ状の体をキュートなオレンジのニットセーターが包んでいる。首の周りには、青と黄色のストライプの気まぐれな模様が描かれている。背景には、滑らかなグレーの岩が部分的に見え隠れし、水面にはスズランが浮かぶ小さな池が描かれている。

ELLAで作成したもの

Forgeで作成したもの

複数生成してみたところでは、通常のSD1.5よりは表現力が高くなっている気がしました。
なお、NSFW系については、SDXLの方がレベルが高いのかELLAのモデルが制限しているのか良いものは出ません。
今のところ、ELLAはSD1.5のみの対応なので、SDXL版が出れば盛り上がりそう。
paperspaceだと、導入に4G近く使うため、SD1.5のみ使う場合は可能かと感じました。