ControlNet1.1 の reference-only を使って Stable Diffusion から同じ顔を生成してみる

「AIイラストの顔が全然固定されない！」

「てゆーか、どうやすれば固定できるのかわからない！」

そんな人は ControlNet1.1 の reference_only を使ってみるといいかと思います。

これは Stable Diffusion Web UI の拡張機能なのですが、簡単にAIイラストの顔を固定させることができて便利です。

事前準備

Stable Diffusion Web UIのインストール

この機能は Stable Diffusion Web UI が必要です。まだインストールしていない人は以下の記事を参考にインストールしておきましょう。

ControlNet1.1のインストール

この機能は Stable Diffusion Web UI の拡張機能である ControlNet 1.1 が必要です。まだインストールしていない人は以下の記事を参考にインストールしておきましょう。

reference_only の使い方

前述の ControlNet 1.1 をインストールすると、下図のように「txt2img」タブの下の方に「ControlNet」のタブが出現します。

上記のタブをクリックすると ControlNet を操作することができます。

使い方はとても簡単で、

• Single Image タブの下に、複製したい画像をドラッグ&ドロップ

• 下の方にある「Enable」と「Pixel Perfect」にチェックを入れる

• さらに下の方にある「Preprocessor」のドロップダウンリストから「reference_only」を選択する

上記の手順で設定

あとは Generate ボタンを押せば、自動で生成されます。

出力結果のサンプル

以下がもとになった画像です。

上記の画像をもとに reference_only を使って生成した画像が以下です。

結構な精度で同じ顔になっていますよね！すごいなぁ…。

reference_only を使うときの注意点

プロンプトは元画像に近いものを使うと良い

ポジティブプロンプト、ネガティブプロンプト、ともに元画像に近いものを使うとより精度が良くなります。

あまりに違うプロンプトにすると見た目の変化が大きくなってしまう印象です。

ただ、顔はそのままに、雰囲気をガラッと変えたい時は大きくプロンプトを変えてもいいかもしれません。

生成時は通常よりもGPUメモリを食う

ControlNet の処理の負荷もかかっているのでしょう、画像を生成する時は通常よりもGPUメモリを食います。

なのでGPUメモリが少ないマシンの場合は、あまり一気に生成しない方が良いですね。