Instant IDをwebUIで使用する方法についての簡単な解説

最近出てきたinstant IDなるものを試してみました。詳細な内容は割愛しますが、画期的な技術だそうです。
上のサイトに使用方法について記載があります。
Automatic1111だとSDXLモデルのみの対応になっています。

①コントロールネット用のモデルをダウンロードし、下のように名前を書き替えます。リンクは上のサイト内にあります。
それらをコントロールネットのモデルがあるフォルダに入れます。2.3GBと1.57GB。

ip-adapter_instant_id_sdxl

control_instant_id_sdxl

②WebUIで使用する
2つのモデルを同時に使用する必要があるようです。デフォルトでマルチコントロールネットですね。
順番が決まっているようです。最初にIP-adapterモデル、次にコントロールネットモデルを使用する。
同じものを入れてもよいようです。

最初のところは「face embedding」とIP-adapter

次に「face keypoint」と「コントロールネットモデル」

注意点：CFGはいつも使用しているより低めに設定するとよいようです。サンプリング方法や使用モデルによって異なるようです。とりあえずCFG4か5あたりから試してねとのこと。

最初に起動すると、いくつかダウンロードされました。
400MB程度でしょうか。
合計で4GBちょっと。

最初の設定でやってみたらうまくいかず。
顔見つからないとか言っているし。

上のサイトでは、トラブルシューティング的なやり取りもあり、参考になります。
同じ症状の人が何人か質問してました。
首が見えないといけないようですね。close-up shotとネガティブにneck collarとneck accessoryを入れて。

こんな感じのを入れてみた。

するととりあえず動いた。プロンプトは上の画像から変えてます。

別な議論のところで、周りを暗めにするとよいと書いていますね。上のやつは偶然首回りが暗くなっていました。背景描写をないやつにするとよいのかもしれません。

下の議論のところでは高速化についての話をしているようです。

正確かはわかりませんが、同じ画像を入れた場合に、プリプロセッサーの段階で二回とも処理をしてしまって時間がかかっているのではとのことでした。

これは、設定の「controlnet」にある、「model cache size」の数値を2にするとよいようです。デフォルトは1のようです。

下の真ん中のところですね。

ここの議論はウェイトについての記載でした。
デフォルトだと画像がぼやけてる気がするとの事でいろんな設定を試した模様。

以下の２点が記載されています。
最初のコントロールネットはウェイトを0にすると良い？
ControlNet is more importantにすると改善する？

デフォルト

CGF3.5

ControlNet is more important

ウェイトを0にしたもの

このあたりはいろいろと調整をしていく感じでしょうか。

今回はローカル環境で作業しました。paperspaceで使用できるか分かりませんが、容量がギリギリですね。