【Flux.1】SD1.5→FLUX1→SD1.5【SD1.5】

先にSD1.5で生成した画像に対して、構図文脈を正しく扱えるFlux.1で修正した後に再度SD1.5で仕上げるという試みです。今回はインタラクティブに修正できるwebUI forgeを利用しました。

戦略は、背景や手はFlux.1にまかせて、主オブジェクトはコントロールしやすいSD1.5を利用します。

SD1.5で主オブジェクト生成

OpenOutpaintで広げる（SD1.5）

Flux.1で背景をインペイント

Flux.1のプロンプトは、VLM（llava-llama3）を利用して新たに生成しています。さすがFlux.1です。カーテンや窓枠などの背景コンテキストの破綻がほとんどありません。

※ Flux.1は自然言語形式で詳細に記述するとクオリティが上がるように思います

実際には部分スクリーンショットでプロンプトを取得しています。

再度SD1.5で精細度を上げて完成

---

各種AIツールの導入方法は下記事で紹介しています。

VLMを利用する場合は、Ollama Windows版をインストールし、コマンドプロンプトを開いて、

ollama run llava-llama3
>>> "C:\path\example.png" What is the picture?

とすれば最も簡単に利用できますが、本格的にGUIで利用する場合は下記事で紹介しています。