見出し画像

StableDiffusionのSDXLモデルをFineTuningして、新しいモデルを作成する講座

e

Stable DiffusionのSDXLモデルをFineTuningする。SD1.5はモデルを作成する人も多かったが、SDXLではリソースの問題なのかFineTuningまで出来ずにLoRAで止まってしまった人も多いかと思う。しかし、SDXLモデルもいくつか存在はするのでFineTuningはできるはずだ。今回はそれを示していく


前提

  • Google アカウント

    • Google Colaboratory (Colab Proプラン) A100

    • Google One ベーシックプラン (100GB)

  • Hugging Face アカウント

    • Hugging FaceのUser Access Token

  • 基本的なLinuxのコマンドを知っている

対象者

  • Stable Diffusionのトレーニングに興味がある人

  • Stable Diffusionのモデルを作成することに興味がある人

  • 自分だけのローカルモデルを作成してみたい人

注意事項

Stable Diffusionのトレーニング方法については、オンラインのドキュメントがHugging Faceなどで公開されているので、一度、ドキュメントを読んで事足りるかどうか確認する事を強くオススメします

こちらの記事では、著者の状況に合わせて用意したデータセットでStable Diffusionをトレーニングしたレポートとなります。このレポートを活用することにより、商業的な効果をお約束するものではありません。また、こちらの記事の内容を実行したことによる損失、損害に関して一切責任を負いかねます

※ この記事は一般の個人ユーザー向けに販売しており、法人向けに販売はしておりません。法人の方の購入はご遠慮ください

返金申請について

有料記事の返金機能は有効にしてありますが、noteによる一定の審査がありますのでご注意ください

この記事から何が得られるのか？

  • Stable Diffusionのモデルをトレーニングする過程で著者が躓いた点や解消した方法を知ることが出来る

  • Stable Diffusionのモデルを自分で用意したデータセットで学習させることが出来るため、自分専用のローカルモデルを作成する実例を知ることが出来る

特に、技術的にはGoogle ColaboratoryでFineTuningを出来なかったと言っていた人もいたので価値はあるかと考えている

作業日数

ドキュメントの読み込み

２日間、いくつかのドキュメントを読んで、最終的に実行するプロジェクトを選んだ

ドキュメントの実践

1日、エラーの対応も含めて対応

レポートの執筆

3日間、出来るだけ実行しやすいようにレポートの内容はそのまま書いて、基本的な構成を見直した

想定時間

本件を演習するための時間を示す

目安としては、下記のFineTuning（トレーニング）を１時間30分ほどで実行できる

  • 画像の枚数：250枚

  • 総ステップ数：2500 Step (250 * 10 epoch)

上記に加えて、Google Colaboratoryのノートブックにレポートのコードをコピペする時間、また、いくつか下準備をする時間が合わせて必要になる。おおよそ、１日あれば十分に実行できるだろう

また、コードのプロパティの意味や用語の理解を含めるときはドキュメントを読んで頂くことが一番であるため、必要に応じてドキュメントを読む時間を別に取って頂いて理解を深めて貰えればと思う

学習について

FineTuningに使用する画像について

自分がFineTuningに使用したい画像を用意すること

枚数：234枚
画像形式：jpeg
画像サイズ：700*1024（width*height)

FineTuningするモデルについて

FineTuningしたモデルは２つ

stabilityai/stable-diffusion-xl-base-1.0

cagliostrolab/animagine-xl-3.1

FineTuningに使用するVAEについて

stabilityai/sdxl-vae

フロー

  • 画像を用意する

    • タグやキャプションを用意する

  • トレーニングする

  • 結果を確認する

コスト

FineTuningをするときに掛かった費用を示していく

Google Colab Proプランに関してはT4 GPUでハイメモリを選択するために使用する。"Pay As You Go"ではハイメモリを選択できず、GPUは足りているのに、システムRAMが足りないのでクラッシュしたプロジェクトがあり、苦い思い出があったのでGoogle Colab Proプランを選択している。いずれにしてもA100でFineTuningするので有料プランの加入は必須だ

SDXLモデルをFineTuningしたときのGPUの使用率

また、Google One ベーシックに加入することで、Google Driveの容量を増やすことが出来る。デフォルトだと容量は15GBだが、FineTuningしたモデルを格納するための容量が足りなかったため増やしたという状況だ。こちらは必要に応じて加入を検討すればよい

◾️ Google One ベーシック(100GB)
250円/月

◾️ Google Colab Proプラン
1179円/月

合計：1429円/月
※ 2024年8月14日時点での価格となります。

ここから先は

17,258字 / 2画像

¥ 9,800