類似画像を生成できる『IP-Adapter』の使い方 / Stable Diffusion
『IP-Adapter』とは
指定した画像をプロンプトのように扱える技術のこと。
細かいプロンプトの記述をしなくても、画像をアップロードするだけで類似した画像を生成できる。
実際に下記の画像はプロンプト「1girl, dark hair, short hair, glasses」だけで生成している。
イラストだけでなくアニメーションの生成時にも役立ちます。
ControlNetの導入
IP-Adapterを使うためには、ControlNetの拡張機能を導入する必要があります。
導入方法の詳細は以下のメモで紹介しています。
こちらのメモでは説明を省きます。
最新版に更新する
Stable Diffusion web UI自体をv1.6.0以降に更新する必要があります。
更新手順は以下のメモがわかりやすくおすすめです。
ControlNetも最新版に更新する。
拡張機能→ インストール済 → 「アップデートを確認」をクリック → "sd-webui-controlnet"が"new commits"になっている場合はアップデートが必要 → チェックを入れて「適用してUIを再起動」をクリック
IP-Adapterのモデルのダウンロード
以下のページからIP-Adapterのモデルをダウンロードする。
①ip-adapter_sd15_plus.pth
②ip-adapter_xl.pth
の2点をダウンロードする。矢印のアイコンからダウンロードが可能。
モデルのインストール
ダウンロードした2つのファイルを「stable-diffusion-webui/extensions/sd-webui-controlnet/models」に格納する。(使用するOSによってパス名は異なる)
webUIを再起動する。ControlNetの「IP-Adapter」の右側にモデルが表示されたらインストール完了。
IP-Adapterの使い方
ControlNetの「有効化」にチェックを入れる → IP-Adapterにチェックを入れる
プリプロセッサ:ip-adapter_sd15_plusの場合は、モデルは「ip-adapter_sd15_plus」を選択。
プリプロセッサ:ip-adapter_clip_sdxlの場合は、モデルは「ip-adapter_xl」を選択。
通常通りプロンプトを入力する。その後生成ボタンをクリック。
生成結果
アップロードした画像↓
生成結果↓
だいぶ美化されているが、雰囲気は似せてくれている。
もっと顔を似させたい場合
ControlNetの上部タブの「controlNet Unit1」をクリック → 「有効化」をクリック → プリプロセッサ「reference_only」を選択
reference_onlyは、顔を固定して生成してくれるプリプロセッサです。
固定したい顔の画像をアップロードする。
「Unit0」のタブの方はIP-Adapterの設定のままで、生成ボタンを押す。
生成結果↓
全く一緒にするのは難しかったが、綺麗すぎないリアルな人物な感じには近づいた。
使用するモデルによって似せられる度合いが変わってくるので、色んなモデルで試してみてください。
こちらのメモもおすすめです☺️✨⬇︎
X(twitter)ではリアルタイムでAIに関する情報を発信しています📝
良かったらフォローしていただけると嬉しいです!
https://twitter.com/kurayu_yuki
この記事が気に入ったらサポートをしてみませんか?