PaperspaceでFLUX.1[dev]のLoRAを作成しよう！

2024年8月25日 15:17

Paperspaceは、従量課金ではなく、月額$8または$39でNotebookでGPUを利用できる唯一のプラットフォームです。GPUの独占は、最大で6時間という制限はあるものの、料金を気にせずに利用できる点が魅力的です。
今回は、このPaperspaceでFLUX.1[dev]のLoRAを作成する方法を解説します。FLUX.1[dev]のLoRAの作成方法は、Paperspaceが以下の記事にまとめているので、こちらの記事を参考に進めていきます。

1. プロジェクトのファイル構成

プロジェクトのファイル構成は以下になります。ai-toolkitフォルダ内には、他にもファイルがありますが、今回編集・使用するものだけを記載しています。

notebooks/
└── FLUX_Training/
    ├── label.py
    ├── training_data/
    └── ai-toolkit/
        ├── output/
        ├── config/
        │   └── examples/
        │       └── train_lora_flux_24gb.yaml
        └── run.py

FLUX_Training: 今回のLoRA作成のための作業フォルダ
label.py: 画像にキャプションを付けるスクリプト
training_data: LoRA作成に使用する画像とキャプションを格納するフォルダ
ai-toolkit: FLUX.1モデルのトレーニングに関するすべての複雑な処理を行うトレーニングキット
output: 作成されたLoRAが格納されるフォルダ
ai-toolkit/confi/examples/train_lora_flux_24gb.yaml: トレーニングの設定が記載されている設定ファイル
ai-toolkit/run.py: トレーニングを実施するスクリプト

FLUX_Training、training_dataフォルダは、事前に作成しておいてください。

2. トレーニングデータの準備

まず、トレーニングに使用する画像をtraining_dataフォルダに格納してください。
次にターミナルで以下のコマンドを実行してください。

pip install -U oyaml transformers einops albumentations python-dotenv flash_attn

次にFLUX_Trainingフォルダにlabel.pyを以下の内容で作成してください。label.pyを実行することで、自動で画像からキャプションを作成できます。コード内の<MORE_DETAILED_CAPTION>には、手動で付け加えたいキャプションを入力してください。例えば、アディダスの服を学習させるとしたら、adidasというキャプションを付与することで、画像生成時のトリガーに使用できます。


import requests
import torch
from PIL import Image
from transformers import AutoProcessor, AutoModelForCausalLM 
import os

device = "cuda:0" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32



model_id = 'microsoft/Florence-2-large'
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True, torch_dtype='auto').eval().cuda()
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)



prompt = "<MORE_DETAILED_CAPTION>"

for i in os.listdir('training_data'+'/'):
    if i.split('.')[-1]=='txt':
        continue
    image = Image.open('training_data'+'/'+i)

    inputs = processor(text=prompt, images=image, return_tensors="pt").to(device, torch_dtype)

    generated_ids = model.generate(
      input_ids=inputs["input_ids"],
      pixel_values=inputs["pixel_values"],
      max_new_tokens=1024,
      num_beams=3,
      do_sample=False
    )
    generated_text = processor.batch_decode(generated_ids, skip_special_tokens=False)[0]

    parsed_answer = processor.post_process_generation(generated_text, task="<MORE_DETAILED_CAPTION>", image_size=(image.width, image.height))
    print(parsed_answer)
    with open('training_data'+'/'+f"{i.split('.')[0]}.txt", "w") as f:
        f.write(parsed_answer["<MORE_DETAILED_CAPTION>"])
        f.close()

コンソールからFLUX_Trainingフォルダに移動し、以下のコマンドでlabel.pyを実行してください。

python label.py

label.pyの実行が完了すると、training_dataフォルダ内の各画像に対して、キャプションが記載されたtxtファイルが作成されます。

3. トレーニングの準備

ターミナルから以下のコマンドを実行し、ai-toolkitのインストールや環境のセットアップを行います。

cd /notebooks/FLUX_Training
git clone https://github.com/ostris/ai-toolkit.git
cd ai-toolkit
git submodule update --init --recursive
python3 -m venv venv
source venv/bin/activate
pip3 install -r requirements.txt
pip install peft
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

以下のコマンドを実行し、HuggingFaceにログインしてください。ログインには、HuggingFaceのトークンが必要になるため、事前にトークンを取得しておいてください。

huggingface-cli login

train_lora_flux_24gb.yamlを編集します。
- <YOUR LORA NAME>には、LoRA名を入力してください。例えば、アディダスのTシャツのLoRAならば、"adidas-tshirt-v1"のような感じです。
- <PATH TO YOUR IMAGES>には、トレーニングデータのディレクトリパスを入力してください。今回の場合は、"/notebooks/FLUX_Training/training_data"になります。
- [name]には、LoRA使用時のトリガーとなるプロンプトを入力してください。例えば、アディダスのLoRAなら、"adidas"といった感じです。

---
job: extension
config:
  # this name will be the folder and filename name
  name: <YOUR LORA NAME>
  process:
    - type: 'sd_trainer'
      # root folder to save training sessions/samples/weights
      training_folder: "output"
      # uncomment to see performance stats in the terminal every N steps
#      performance_log_every: 1000
      device: cuda:0
      # if a trigger word is specified, it will be added to captions of training data if it does not already exist
      # alternatively, in your captions you can add [trigger] and it will be replaced with the trigger word
#      trigger_word: "p3r5on"
      network:
        type: "lora"
        linear: 16
        linear_alpha: 16
      save:
        dtype: float16 # precision to save
        save_every: 250 # save every this many steps
        max_step_saves_to_keep: 4 # how many intermittent saves to keep
      datasets:
        # datasets are a folder of images. captions need to be txt files with the same name as the image
        # for instance image2.jpg and image2.txt. Only jpg, jpeg, and png are supported currently
        # images will automatically be resized and bucketed into the resolution specified
        # on windows, escape back slashes with another backslash so
        # "C:\\path\\to\\images\\folder"
        - folder_path: <PATH TO YOUR IMAGES>
          caption_ext: "txt"
          caption_dropout_rate: 0.05  # will drop out the caption 5% of time
          shuffle_tokens: false  # shuffle caption order, split by commas
          cache_latents_to_disk: true  # leave this true unless you know what you're doing
          resolution: [1024]  # flux enjoys multiple resolutions
      train:
        batch_size: 1
        steps: 2500  # total number of steps to train 500 - 4000 is a good range
        gradient_accumulation_steps: 1
        train_unet: true
        train_text_encoder: false  # probably won't work with flux
        gradient_checkpointing: true  # need the on unless you have a ton of vram
        noise_scheduler: "flowmatch" # for training only
        optimizer: "adamw8bit"
        lr: 1e-4
        # uncomment this to skip the pre training sample
#        skip_first_sample: true
        # uncomment to completely disable sampling
#        disable_sampling: true
        # uncomment to use new vell curved weighting. Experimental but may produce better results
        linear_timesteps: true

        # ema will smooth out learning, but could slow it down. Recommended to leave on.
        ema_config:
          use_ema: true
          ema_decay: 0.99

        # will probably need this if gpu supports it for flux, other dtypes may not work correctly
        dtype: bf16
      model:
        # huggingface model name or path
        name_or_path: "black-forest-labs/FLUX.1-dev"
        is_flux: true
        quantize: true  # run 8bit mixed precision
#        low_vram: true  # uncomment this if the GPU is connected to your monitors. It will use less vram to quantize, but is slower.
      sample:
        sampler: "flowmatch" # must match train.noise_scheduler
        sample_every: 250 # sample every this many steps
        width: 1024
        height: 1024
        prompts:
          # you can add [trigger] to the prompts here and it will be replaced with the trigger word
#          - "[trigger] holding a sign that says 'I LOVE PROMPTS!'"\
          - "woman with red hair, playing chess at the park, bomb going off in the background"
          - "a woman holding a coffee cup, in a beanie, sitting at a cafe"
          - "a horse is a DJ at a night club, fish eye lens, smoke machine, lazer lights, holding a martini"
          - "a man showing off his cool new t shirt at the beach, a shark is jumping out of the water in the background"
          - "a bear building a log cabin in the snow covered mountains"
          - "woman playing the guitar, on stage, singing a song, laser lights, punk rocker"
          - "hipster man with a beard, building a chair, in a wood shop"
          - "photo of a man, white background, medium shot, modeling clothing, studio lighting, white backdrop"
          - "a man holding a sign that says, 'this is a sign'"
          - "a bulldog, in a post apocalyptic world, with a shotgun, in a leather jacket, in a desert, with a motorcycle"
        neg: ""  # not used on flux
        seed: 42
        walk_seed: true
        guidance_scale: 4
        sample_steps: 20
# you can add any additional meta info here. [name] is replaced with config name at top
meta:
  name: "[name]"
  version: '1.0'

4. トレーニングの実行

以下のコマンドを実行し、トレーニングを開始します。

python3 run.py config/examples/train_lora_flux_24gb.yaml

トレーニングが完了すると、ai-toolkit/output/<LoRA名>/<LoRA名>.safetensorsが作成されます。これがLoRAになります。

この記事でご紹介したAI技術の応用方法について、もっと詳しく知りたい方や、実際に自社のビジネスにAIを導入したいとお考えの方、私たちは、企業のAI導入をサポートするAIコンサルティングサービスを提供しています。以下のようなニーズにお応えします。

AIを使った業務効率化の実現
データ分析に基づくビジネス戦略の立案
AI技術の導入から運用・教育までの全面サポート
専門家によるカスタマイズされたAIソリューションの提案

初回相談無料ですので、お気軽にご相談ください。以下のリンクからお問い合わせください。

この記事が気に入ったらサポートをしてみませんか？