Stable Diffusionってこんな感じかなっていう図

プロンプトの勉強は時間がかかりそうなので、
今日はStable Diffusionのモヤモヤした部分をビジュアル化してみました！

Stable DiffusionにはCheckpointとかLoRAとかLyCORISとかあるけど、何がなにだかわからない！

Stable Diffusionっていう画像を機械学習して出力する仕組みがあって
一から膨大に画像を食わせてイイ感じのところでパッケージにしてるのがベースモデル、
ベースモデルに追加で画像を大量に食わせていい感じにまとめたのがチェックポイント（チェックポイントはこの追加で食べさせた情報だけしか持ってないので使うにはベースモデルが必要）同じような構造で、
チェックポイントからさらに沢山画像を食べさせたモデルがLoRAとかLyCORISなので、
LoRAのモデルを使おうと思うとチェックポイントのモデルとベースモデルとが必要になってくるというわけ。
この関係を木の幹や幹から伸びる枝みたいだなって思ったので画像にしてみました。

チェックポイントやLoRAなどの関係性のイメージをこんな感じでとらえておいたらいい感じなんじゃないかな～、と思います。
少なくとも私はこんなイメージです😙

Stable Diffusionのイメージ図

根っこがソフト、画像の学習データを膨大に蓄えた幹の部分のベースモデル、
さらに幹の部分のデータに加えて学習データを増やしていって枝みたいな感じにのびるチェックポイント、
さらにそこから細かいこだわりに対応できるように表現に特化した学習データの小枝となっているのがLoRAとかLyCOLISみたいなやつ。
LoRAとかは併用できるので、その小枝たちに支えられて生成画像が出来上がる感じ。
この画像で言うとプロンプトのワードとかは葉っぱみたいなイメージになるけどまだかけてないですｗ

まだ勉強し始めたばかりなので、このイメージが間違っていたらご指摘いただけると嬉しいです(><*)