グレート・ピレニーズをTVで見ていたらふとFooocusを使ってみようと思った（LoRA編）

2024年3月16日 21:50

上記の続きです。
「Fooocus」で「LoRA」を試しました。

LoRA（Low-Rank Adaptation）は、大規模言語モデル（LLM）や画像生成AIを効率よく調整する手法の1つです。
（中略）
LoRAは、Stable Diffusionでcheckpointと呼ばれるモデルファイルに対して追加学習を行い、差分を記録したファイルになります。追加学習を行うことで、元のモデルでは表現できなかった繊細な画風やスタイルが表現できるようになります。

Geminiの回答

3種類のLoRAモデルを使用

LoRAのファイルは「Civitai」から取得しました。
今回はなんとなく気になった3つ。
古いアニメスタイル、輝くネオンテーストが特徴のスタイル、データビジュアライズされたネットワークにインスパイアされたスタイル、の3つです。
（3つ目は意味がよくわかってませんが、統一感のある独特な作風です）

LoRAファイルをGoogle Colabで「/content/Fooocus/models/loras」にダウンロードします。
理由はわからないのですが、認証エラーが出て下記コマンドではダウンロードできないことがあります。
その場合はローカルにダウンロードしてからGoogleドライブにアップロード、そこからGoogle Colabの環境にコピーします。

!apt -y install -qq aria2

# Vintage Anime（LoRA）ダウンロード
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://civitai.com/api/download/models/351556 -d /content/Fooocus/models/loras -o Vintage_Anime.safetensors

# GlowNeon XL LoRAダウンロード
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://civitai.com/api/download/models/348189 -d /content/Fooocus/models/loras -o glowneon_xl_v1.safetensors

# Data Visualization Style XL LoRA
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://civitai.com/api/download/models/352847 -d /content/Fooocus/models/loras -o dataviz_style_xl_v1.safetensors

今回のFooocusの設定

ダウンロードするとFooocusのAdvanced（にチェック）→ModelタブのLoRAのドロップダウンから選択できるようになります。
複数のLoRAが設定可能です。

今回Fooocusはアニメエディションのパッケージを利用しました。
実行コマンドは以下です。

#アニメ風：Aime Edition
%cd /content/Fooocus
!python entry_with_update.py --preset anime --share

ダウンロードされるモデルは「animaPencilXL_v100.safetensors」（6.46Gバイト）。
Civitaiにもモデルが収録されています。

Stylesの設定は以下のようにしました。

プロンプトはそれぞれのサンプルを参照し、トリガーワードを組み合わせて適当に作成。

impactful paint of one Great Pyrenees in midnight forest, glowneon, emitting sparks, dataviz style, black and white network data visualization in the shape of Great Pyrenees, sharp, professional, high contrast, high saturated <lora:Vintage_Anime:0.8> <lora:glowneon_xl_v1:0> <lora:dataviz_style_xl_v1:0>

ModelのLoRAの設定はそれぞれ以下の通りです。
Weightは重めの1にしています。