【画像生成AI】StableDiffusionのIPAdapter＆FaceIDの比較検証をしてみた（2024年1月～2月）

はじめに

• Stable Diffusion WebUI（Automatic1111）で当時（2024/01）のIPAdapterによるLoRAモデルへの着せ替えおよびIPAdapter新機能FaceIDの比較検証を行いました。 検証の際に以下の動画も参考にさせていただきました。2024年初頭時点の検証メモとなります。

• やはりimg2imgよりtxt2imgの方がFaceIDのその威力を遺憾なく発揮してくれるのを再認識しました。解像度低めでも高品質なりやすいし自分の非力PCでもなんとか落ちずに生成できるのがとても良いですね。

• FaceIDの再現力すごくてIPAdapterに渡す参照画像が分かりそうなのが悩みどころです。某LoRAを使用していますが、あくまでも画像生成AIの勉強のためで商用利用等はしておりません。

• また、XYZPlotで各チェックポイントとFaceIDある無しのグリッド比較図作ってみたのでそちらもよければご覧ください。

いきなり成果物

各CheckPointでFaceID検証（サキュバス風コスプレ画像）

• シンプルなプロンプトで統してでお気に入りのチェックポイント幾つか試してみたけど、どれも良い感じで個人的にはdetailAsianRelisticV45あるいはBRAV6/7が好きな質感でした。

BeautifulRealisticV7

BeautifulRealisticV6

DetailAsianRelisticV45

braBeautifulRealistic5

X/Y/Z Plotを使用した各CheckPointとFaceID有無の比較

• Automatic1111の拡張機能X/Y/ZPlotで各チェックポイントとFaceIDある無し​のグリッド比較図作ってみた（横軸はチェックポイント、縦軸はFaceIDのLoRA効果を1/0に切り替えて比較）

• IPAdapterのFaceIDの顔再現効果が“如実”に分かりやすく可視化されてる印象。（上述もしたが）この検証でははBRAV5とDRAV45が好きな質感

• FaceIDの複数顔セット試したけど闇雲にセットするよりこれっていう単一顔セットする方が品質良さそう。皆さんはどちらが好みでしょうか？

各CheckPointでFaceID検証（半袖カジュアル服画像）

• ControlNet（OpenPose）で基本ポージングは固定。手が多く出てきてるのは未熟なためなのでご容赦ください。

• どれもかわいくて甲乙つけがたいですね。何度もいってますが最終的にはBRAV5とDRAV45に落ち着きました。

BRAV5

detailAsianRealistic_v45

BeautifulRealisticV6

BeautifulRealisticV7

BeautifulRealisticV6

さいごに

もしこの手の画像生成AIによるバーチャルアイドル生成に興味があればイイね（❤）を押していただけると励みになります。今回はCivitAIにあるLoRAを使用して検証させていただきましたので、もちろんLoRAは自分で作る必要がありますが。興味ある方が多い場合はこれからも成果物を共有したり、作り方（ノウハウやTips）も共有していきたいと思います。