類似画像を生成できる『IP-Adapter』の使い方 / Stable Diffusion

『IP-Adapter』とは

指定した画像をプロンプトのように扱える技術のこと。
細かいプロンプトの記述をしなくても、画像をアップロードするだけで類似した画像を生成できる。

実際に下記の画像はプロンプト「1girl, dark hair, short hair, glasses」だけで生成している。

顔を似せて生成してくれた

イラストだけでなくアニメーションの生成時にも役立ちます。

ControlNetの導入

IP-Adapterを使うためには、ControlNetの拡張機能を導入する必要があります。
導入方法の詳細は以下のメモで紹介しています。

こちらのメモでは説明を省きます。

最新版に更新する

Stable Diffusion web UI自体をv1.6.0以降に更新する必要があります。
更新手順は以下のメモがわかりやすくおすすめです。

Stable Diffusion web UI の更新手順【Stable Diffusion web UI】

ControlNetも最新版に更新する。

拡張機能→ インストール済 → 「アップデートを確認」をクリック → "sd-webui-controlnet"が"new commits"になっている場合はアップデートが必要 → チェックを入れて「適用してUIを再起動」をクリック

IP-Adapterのモデルのダウンロード

以下のページからIP-Adapterのモデルをダウンロードする。

lllyasviel/sd_control_collection at main

①ip-adapter_sd15_plus.pth
②ip-adapter_xl.pth

の２点をダウンロードする。矢印のアイコンからダウンロードが可能。

モデルのインストール

ダウンロードした２つのファイルを「stable-diffusion-webui/extensions/sd-webui-controlnet/models」に格納する。(使用するOSによってパス名は異なる)

webUIを再起動する。ControlNetの「IP-Adapter」の右側にモデルが表示されたらインストール完了。

IP-Adapterの使い方

ControlNetの「有効化」にチェックを入れる → IP-Adapterにチェックを入れる

プリプロセッサ：ip-adapter_sd15_plusの場合は、モデルは「ip-adapter_sd15_plus」を選択。

プリプロセッサ：ip-adapter_clip_sdxlの場合は、モデルは「ip-adapter_xl」を選択。

通常通りプロンプトを入力する。その後生成ボタンをクリック。

生成結果

アップロードした画像↓

生成結果↓
だいぶ美化されているが、雰囲気は似せてくれている。

もっと顔を似させたい場合

ControlNetの上部タブの「controlNet Unit1」をクリック → 「有効化」をクリック → プリプロセッサ「reference_only」を選択

reference_onlyは、顔を固定して生成してくれるプリプロセッサです。
固定したい顔の画像をアップロードする。

「Unit0」のタブの方はIP-Adapterの設定のままで、生成ボタンを押す。

生成結果↓
全く一緒にするのは難しかったが、綺麗すぎないリアルな人物な感じには近づいた。

使用するモデルによって似せられる度合いが変わってくるので、色んなモデルで試してみてください。

こちらのメモもおすすめです☺️✨⬇︎

X(twitter)ではリアルタイムでAIに関する情報を発信しています📝
良かったらフォローしていただけると嬉しいです！
https://twitter.com/kurayu_yuki