KRITA5+AI Diffusion FLUX.1+社内イラストレーターLoRAでビジュアル共有の速度アップ
デザイン系の会社でAI生成を使う…といっても、Adobe Fireflyを使うという段階で止まっているところが僕らの知る会社さんでは多いようです。
Macを使っているところが多いのも関係しているかもですが、KRITA+AI DiffusionはMacでも動きます。そしてこれを使うことで、一貫したキャラクターや人物のイメージを生成することが可能…となると、うまくフローに取り入れられる会社さんもあるかも…。
今回はそんな一貫性を持ったキャラの生成フローを実験した記録です。
ちなみに僕らはAI系はWindowsマシンを使っています。CUDAを使いたいですし、Blenderも併用していますので。
社内グラフィック制作用マシンのスペックはお世辞にもツヨツヨではありません。一貫性を保たせるためには、LoRAという補助学習モデルを使います。
ローカルでLoRAの学習には脆弱な環境で行うためには時間がかかりすぎるのですが、外部GPUのreplicate.comを使うことでその問題は解消されます。
属人化の解消
そもそもキャラクターを描けるのが1人だけなので、どうしても属人化してしまいます。そのため時間がかかったり、不測の事態で完成が遅れたりするリスクがあります。これを避けるために、複数人で作業ができる環境を構築することが小さな会社である僕らの数少ないリスクヘッジの方法です。
さて、今回ベースとなったマシンスペックは下記です。
AMD Ryzen 5 7600 6-Core 3.8GHz 64.0GB
NVIDIA GeForce RTX 4060 8GB(共有GPUメモリ 39.6GB)
Windows11 PRO
アプリケーション環境
全員同じ環境にするため、全員アプリケーションは揃えました。
KRITA AI Diffusionは、Dockerを使わなくても仮想環境を構築してくれるので、チーム内のローカルマシン環境が少々違っていてもよっぽどでなければ大丈夫なのが良いですね。😁
■KRITA(2024.10.7 時点でのバージョンは5.2.6)
■KRITA AI Diffusion(こちらは更新が結構早くて、2024.10.7時点で1.25)
■FLUX.1[Schnell]
このモデルは商用利用可なのと、低スペックマシンでも楽に動作可能なので選択しています。
後工程はClip StudioとAffinity Studioを使っていますので、生成AI関連では上記までが共通アプリケーションです。
セットアップの方法はYoutube動画を参考に。
LoRAを作る
参考にした記事はこちら
LoRAはリアルな人物でも学習可能なので、デザイン会社で専属モデルを持つような感覚で使うことも可能です。
少し大変なのは、イメージとキャプションのセットを作ることかもです。キャプションはプロンプトに紐づくので、ファイル名と一対一になるように作っておくと良いです。
上記記事では写真のみを学習させていますが、イラストの場合はキャラ名やポーズ、表情のキャプションは入れておいたほうが無難です。
参考記事では学習STEP数をデフォルト値のままで行っていますが、イラストの場合2000ステップあったほうがタッチをより反映します。
500ステップと比較してみましたが、雲泥の差でした。
実際の結果
本人が描いたイラストが以下です。表情差分としてLoRA学習に使ったイラストです。
こちらがLoRAを適用して出力した結果
見事にタッチを反映させることができました。
あとはinPaint昨日を使った表情替えや簡単なポーズ変更、アイテム追加といったことがうまくできれば実用域です。✌
低スペックのグラフィックボードでFLUX.1を動かす方法。↓
この記事が気に入ったらサポートをしてみませんか?