見出し画像

【ComfyUI】 fal.aiのFLUX.1 [dev]+LoRA+ControlNetをAPIで呼び出して画像生成してみよう！

Yas@BizDev支援のエンジニア

前回は、falのFLUX.1[dev]＋LoRAのAPIの使い方を解説しました。前回の記事は、以下のリンクよりご覧ください。

今回は、falのFLUX.1[dev]＋LoRA+ControlNetの使った画像生成を解説します。falでは、FLUX.1[dev]において、LoRAとControlNetを併用して使うことができます。本来、FLUX.1[dev]は商用利用不可ですが、falでは商用利用可能になります。

前々回のFLUX.1 [pro]のAPIを呼び出す方法は、以下の記事をご覧ください。この記事の中で、falのAPIや、falで利用できるモデルを記載していますので、本記事の前に読んでおくと理解が捗ります。

FLUX.1について知りたい方は、以下の記事をご覧ください。

AICU media様がComfyUIの使い方を一から教えるマガジン「ComfyUIマスターガイド」を連載しています。こちらのマガジンに掲載する記事の執筆協力をしておりますので、ComfyUIを学びたい方は、ぜひ以下のリンクよりマガジンをご購読ください！


1. ComfyUIでfalのAPIを使う準備

ComfyUIでfalのAPIを使うための準備は、前回の記事で説明しているので、以下のリンクより前回の記事をご確認ください。

2. 使用するLoRAのリンクを取得

APIでLoRAを使用する場合は、HuggingFaceやCivitAIなどのクラウド上に公開されているLoRAのリンクをAPIのリクエストに含めます。FLUXのLoRAは、以下のHuggingFaceのページにまとめられているので、こちらからLoRAを探すことをおすすめします。

今回は、実写とイラストを融合する「half_illustration」を使用します。以下のリンクより、half_illustrationのHuggingFaceのページにアクセスしてください。

アクセス後、「Files and versions」のタブをクリックし、表示された画面で「flux_train_replicate.safetensors」をクリックします。

表示された画面から「Copy download link」をクリックすることで、リンクをコピーすることができます。このリンクは、後ほど使用するので、ここからコピーできることを覚えておいてください。

3. 使用するControlNetのモデルのリンクを取得

APIでControlNetを使用する場合は、HuggingFaceやCivitAIなどのクラウド上に公開されているControlNetのモデルのリンクをAPIのリクエストに含めます。今回は、ControlNet Unionを使用するので、以下のリンクよりControlNet Unionのファイルにアクセスします。

ControlNet Unionのページにアクセスしたら、「Files and versions」タブを選択し、表示されたファイル一覧から「diffusion_pytorch_model.safetensors」をクリックします。

表示された画面から「Copy download link」をクリックすることで、ファイルのリンクを取得することができます。

4. ワークフローの準備

以下のワークフローのサンプルがあるリンクにアクセスしてください。

アクセスすると、以下の画面が表示されます。画面右にあるダウンロードボタンを押下し、ワークフローのPNG画像をダウンロードしてください。

この画像をComfyUI上にドラッグ&ドロップし、ワークフローをロードしてください。以下のようにワークフローが表示されます。

左側にあるノード「Fal API Flux LoRA Config」のlora_urlに先ほど取得したLoRAのリンクを貼り付けてください。

同じく左側にあるノード「Fal API Flux ControlNet Union Config」のpathに先ほど取得したControlNetのモデルのリンクを貼り付けてください。

次に、「Load Image」で以下の画像を読み込んでください。

「Fal API Flux with ControlNet」の設定は以下の通りです。プロンプトは、コピーできるようにコードブロックで記載しました。

In the style of TOK, a photo editorial avant-garde dramatic action pose of a woman short blue hair wearing 70s round wacky sunglasses pulling glasses down looking forward, in Tokyo with large marble structures and bonsai trees at sunset with a vibrant illustrated jacket surrounded by illustrations of flowers, smoke, flames, ice cream, sparkles, rock and roll

5. APIの実行

それでは、「Queue Prompt」をクリックし、このワークフローを実行します。

実行したところ、以下のように画像が生成されました。参照元画像と同じポーズで、LoRAが適用されています。生成時間は31.14秒でした。

この記事でご紹介したAI技術の応用方法について、もっと詳しく知りたい方や、実際に自社のビジネスにAIを導入したいとお考えの方、私たちは、企業のAI導入をサポートするAIコンサルティングサービスを提供しています。以下のようなニーズにお応えします。

  • AIを使った業務効率化の実現

  • データ分析に基づくビジネス戦略の立案

  • AI技術の導入から運用・教育までの全面サポート

  • 専門家によるカスタマイズされたAIソリューションの提案

初回相談無料ですので、お気軽にご相談ください。以下のリンクからお問い合わせください。


この記事が気に入ったらサポートをしてみませんか？