ComfyUI 潜在空間ノイズマスク

前回の記事執筆時にわからなかった事。
「Set Latent Noise Mask」の存在。標準のノードです。

ComfyUIのサンプルサイトを見ると、「マスクをした部分に何かを描き込む」という例は載っているのですが、これが物によってはマスクからはみ出たりする事多々。

https://comfyanonymous.github.io/ComfyUI_examples/inpaint/

人物でも動物でも静物でも、ある程度原型を残したまま描き変えたい。
マスク部分だけにImg2Imgしたい。

Automatic1111版で言う所のInpaintのマスクされたコンテンツ「元の画像」

AUTOMATIC1111の画面。ComfyUIでもこれと同じ事がやりたい

これがないと、ただのインペイントでは修正する度に
一から描き直すような物です。

大きさも向きもランダムになる

・ポーズや大きさはそのままに別キャラクタに変えたい
・部分的にLoRAを適用したい
・ディテイラーやコントロールネットで対応できない時

網羅しきれないノードの中から、やっと 「Set Latent Noise Mask」というノードを見つけたのですが・・・
Automatic1111ではマスクされたコンテンツに「潜在空間におけるノイズ」という項目があるのでそれと同じ物だと思うではないですか。

こちらは単にノイズで埋められるだけでしたよね。すごく紛らわしい。

そんな訳でimg2imgに差し込んでみる。

同じ画像をローダーで2枚読み込んで、ひとつをマスク用にします。
やってる事はimg2imgなのでサンプラーのデノイズで調整します。
0.2位だと元絵と殆ど変わりません。1.0は殆ど元画像無視です。

注意しないといけないのは inpaint model のcheckpointは使えません。
デノイズ1.0では元の画像と殆ど同じ絵がでて、それ以下の数値だとグレーの板になります。これで「あれ？できねー？」と引っかかってました。

モノリスが～

↓ Reddit でもその話が出てました。

https://www.reddit.com/r/comfyui/comments/16swj2r/inpaint_set_latent_noise_mask_not_working_for_me/