+GenerativeFill Fooocus Inpaint+lama with ollama
ここまで「Like GenerativeFill」と名付けたノードを2つ組んできましたが、
今回は「+GenerativeFill」と名付けて、GenerativeFillにはない機能をfooocus Inpaint機能を利用して作成してみました。
SD的な用語で言えば、所謂「Inpaint+lama」機能ですね。A1111でも同じことは出来ます。
下図のように、既存の画像のアスペクト比を拡大する形で変更し、その拡大した余白に対して既存の画像を分析してAIが自動的に余白に対して画像生成を行う技法です。
ワークフローは以下からダウンロードしてください。
では、実際の設定、使用方法について解説していきます。
まず下図のように、ベースモデルはSDXL Hyperを使用して高速化を図っています。KSamplerも当然Hyperに最適化しているので、モデルを変更する際には随時KSampler設定も変更してください。
また、SDXL用のIPAdapterを使用するので、各モデルは以下からダウンロードしてください。
画像解析とプロンプト作成の為にollamaを使用するので、モデルは画像解析が可能なllava-llama3を使用してください。
big-llama.ptは、以下からダウンロードしてください。
Fooocus Inpaint用のモデルは、以下からダウンロードしてください。
では次に、実際の使用方法例について解説していきます。
サンプルとして使用する画像は以下の画像ですが、この画像は20世紀初頭に活躍したポール・シニャックというフランスの新印象派画家の画風を学習したLoRAを使用しています。
このような場合、ただ単にInpaint+Lama技法を使用しても、余白に対してポール・シニャックらしい絵を再現できない可能性があります。
そこで下図のように、LoRAを適用します。
このLoRAは、以下からダウンロードしてください。
元画像自体をSDで生成しているならば、生成時のプロンプトを下図のようにPositive Prompt欄に入力しておくと、画風の再現性が高まります。特に元絵でLoRAを使用している場合には、トリガーワードは必ず入っている必要があります。
下図のように、生成したい画像の解像度と縦横比を設定します。この場合は縦長の元画像を横に拡大して1:1の画像を作成します。
ここまで設定を行い画像を生成すると、下図のように元絵の画風を継承した形で余白に対しても画像が生成されます。
この記事が参加している募集
この記事が気に入ったらサポートをしてみませんか？