【TIPS-001】インペイント工夫【小技】

新たにシリーズをはじめてみます。

Stable Diffuionのインペイントで重要な事は、学習対象物の解像度を合わせる事です。これは（512x512の画像を学習したのであれば）全体の生成画像を512x512にするという話ではなく、そこに映っている対象物のピクセル解像度を合わせるという事です。

顕著な例として、512x512の「顔」画像をLoRAで学習した場合、

インペイントで生成する際にベストな解像度は、学習元と同じサイズになります。つまり、インペイントのサイズを512x512にして、そこに映っている顔本体が368ピクセル程度でインペイント生成すると最も綺麗に生成できます。

人物を生成して、顔だけをインペイントで高精細化するのは一般的ですが、インペイント時の解像度による品質最適化のために次のような工夫をします。

Stable Diffusion webUIでは、インペイントする際に自動的にクロップします。つまり、髪型は変えたくないが、顔本体だけに変更を適用する場合は、対角線の両端にダミーマスクを加える事で、自動クロップの大きさを制御できます。この状態で512x512解像度インペイントを行います。

この手法を利用すると、顔本体だけが変更を受けるが、対象物の解像度は学習時とほぼ同じ大きさで生成できるため、品質が最も高い状態になります。

顔だけ鮮明化

以下関係する記事の【ＰＲ】です。