見出し画像

【超カンタン】Stability Matrixが凄い！ 画像AI環境構築これで出来ないなら諦めろ【モデルLoRA管理付】

カガミカミ水鏡👯

こんにちわ。アカウント整理中にXが凍結したカガミカミ水鏡です。

SDXLのモデルリリースが活発ですね！ 画像AI環境のstable diffusion automatic1111(以下A1111)でも1.5からSDXL対応になりましたが、それよりもVRAMを抑え、かつ生成速度も早いと評判のモジュール型環境ComfyUIが人気になりつつあります。
しかし、これらを導入するには様々な問題があります。初心者向けだと……

  • インストールから利用までの方法に不安

    • GitもPythonもわからない、インストール失敗する、環境変数よくわかんない、アップデートも失敗する

と、導入に不安が。
一方で従来の利用者で、特にA1111とcomfyUIの共存を考えるユーザだと……

  • モデルを両方のmodelsフォルダに入れなければならないので容量が不安、管理も煩雑

  • そもそもモデル（ckpt, lora, vae, TI）の管理が面倒臭い

そんな問題を全て解決するソフト、実はあります。
それがStability Matrix（以下matrix）！

わたしらが始めた頃は、gitコマンドを一生懸命覚えて、pullで競合起きたときは慎重にマージしたり、またpyenvなどpython仮想環境たてて3.11環境と混ざらないように3.10環境いれたりなど、色々と苦労したもんじゃよ

画像生成AI老人会

おじいちゃんの言ってること難しくてよくわかんない俺でも、簡単に導入できます！

※ この記事は2023-08中旬に書いたものです。stabilitymatrixは日本語対応など含めて開発が非常に進んでいます！ おともだちのイオさんが、2023-09時点で新しいバージョンの解説記事を書かれているので、そちらもどうぞ！


主な機能（導入編）

  • 各ソフト必要要件のGitもPythonもインストール不要（全てmatrix内にビルトインされてる）

  • A1111, ComfyUI, fooocusを１クリックインストール

    • UIからgit branchを変更可能。つまりgitコマンド不要でA1111のdev branchが利用できる！

    • 初回起動時、ポータブルアプリのようにインストールできるオプション付（むしろportable化推奨）

    • アップデート（git clone）もGUI上から楽々

主な機能（運用編）

  • 各AI環境の起動変数を画面から設定可能

    • ポートやlowvramなど良く使う物はチェックや数値入力だけで設定可能

  • matrixから起動をすると、例の黒い画面が色分けされて見やすい

    • しかもWebUIにアクセスできるようになったら目立つボタンで知らせてくれる

  • モデル・LoRA・LyCO・VAE・Embeddingを一括管理（全てのAI環境で利用可能）

    • matrixのUIにドラッグドロップでインストール完了

  • civitai掲載のモデルをソフトUIから検索・ダウンロードできるmodel browser

    • 本家サイトより軽い……だと……

    • もちろん即座にmatrixの管理下に

インストールからUIを立ち上げるまで

さて、ここからは老人会のおじいちゃんと一緒に環境構築してみましょう。

インストールはgithubリリースのページから、stabilitymatrix-win-x64.zip をダウンロードして解凍、実行するだけ。英語は平易なのでノリで行ってみましょう。
https://github.com/LykosAI/StabilityMatrix/releases

初回実行時、「GPU環境の確認」と「インストール場所の指定」をやってきます。その後、「とりあえずUI環境入れよう、な！」と聞いてきますので、好きなものを一つ入れましょう。
※ 後述しますが、Fooocusにも対応

とりあえず鉄板のautomatic1111とcomfyUI入れとけばいいです。 ほかを解説すると、SD.Nextはa1111改造版、VoltaMLはLinuxで本領を発揮する高速画像生成がウリ、InvokeAIはSDXLやcontrolnetなど対応が幅広く、photoshopみたいなoutpaintingが使いやすい環境

また、その後にUI環境を増やしたり、devブランチ(開発者用ベータ版)など別のブランチを指定したい場合は、packageのタブから行きましょう。右側のアイコンを適当にクリック。

正直、過度な説明が不必要なくらいに洗練されたUIです

また、これらUIは開発頻度が高く、適宜アップデートしたいですよね。
パッケージタブの三点リーダをクリック【check for update】から簡単にアップデート可能です！

ちなみにmatrix自体にアップデートが入っても、起動時にチェックしてくれて、updateボタンでカンタンに最新バージョンに出来ます

さて、ソフトだけだと動かないので、学習モデル(stable-diffusion checkpoint)を導入しましょう。
civit.ai などのモデルサイトから検索してダウンロードすると思うんですが、もうcivit.aiで使いたいモデルの名前が決まってるなら……matrixでcivit.aiから直接ダウンロードできます！

【model browser】の上部検索からモデル名を引いて、出てきたモデルのインストールボタンを押すだけ！

SDXLモデルもご覧の通り。【show NSFW content】にチェック入れないと出ないモデルあります

また使いたいLoRAがあれば今のうちに検索しときましょう。【Period】（検索期間）や【Model Type】をいじり、俺利用率No.1LoRAの「flat2」をインストールしました。

しかもcivit.aiからサムネなどの情報も合わせてダウンロードしてくれるので、例えばSDの🎴マークから表示出来るモデルやLoRA一覧で、この表示されているサムネを確認することができるため、選びやすくなります！

おじいちゃん大好きflat2。書き込み量を調整するやつですね。マイナス適用でサテン生地のディテールが増えるのが良い。画像のものはSD1.5対応版で、SDXL版もリリースされてます


なお、モデルがhugging faceにあって予めダウンロードしていたり、また既にローカルにある場合は、【checkpoints】タブにドラッグ＆ドロップすることでインストールできます。

また左上【Import as Connected】にチェックを入れることを推奨します。モデル情報をcivit.aiに問い合わせて、情報だけダウンロードしてくれます。

複数選択も可能なのでお引越しにも便利。LoRA20個くらい一気に引越するときとか

あ、vaeをインストールしておかないと画像の彩度コントラストが落ちてしまいますね。同じ【checkpoints】タブ【categories】から「vae」にチェック入れておきましょう。一番下にあります

おじいちゃん？ 特殊浴場って何かな？ おじいちゃん？？？？？？

で、出てきたvaeの管理画面にvaeファイルを入れておきましょう。

ちなみに俺が一番使うvae（というかコレしか使ってない）のは本家stabilityaiリリースの84万ちゃんです
https://huggingface.co/stabilityai/sd-vae-ft-mse-original/blob/main/vae-ft-mse-840000-ema-pruned.safetensors

ダウンロードフォルダからdrag&dropし終わったら削除してOK。あ、もちろんvaeは各UIから設定して使えるようにしといてくださいね

さて、ここまでで起動に必要な前準備が終わりました。なお、こうしてインストールした各モデルは、matrixからインストールした全てのUIで、統一して使えます。つまり、各UIごとにモデルをインストールする必要が一切ないので、各UI環境の使い分けが非常にカンタンに出来るというわけです！

今までは亀さんのように遅いサイトから2-8GBのモデルをダウンロードして、それをSDやcomfyUIそれぞれのstable-diffusionディレクトリにコピーしてたから、SSD容量が逼迫して大変じゃったよ。シンボリックリンクを貼るのも面倒でな……

画像生成AI老人会

俺がmatrixを推す最大の理由は、この強力なモデル管理機能にあります。

あとは【launch】タブからlaunchボタンを押すだけ！

cmdで叩くよりもログが読みやすいのも⭕！ open webuiボタンも解りやすい

さて、A1111とは別にcomfyUIも立ち上げてみました。A1111と同じモデルやLoRAで運用できるのは非常に便利ですね！ comfyUI導入環境としても最速最楽でできる筈なので、是非試してみて！

おじいちゃーん、技術ブログで性癖なすりつけに行くのはやめてくださいねー


あ、おじいちゃんがA1111を2枚目のGPUで動かしたいってダダをこねてます（２枚目のGPUで動かす方法は俺のnote参照）。ついでにコマンドラインで指定できる高速化設定もしたいのですが、例えばA1111であればwebui-user.batにコマンドラインを直書きする必要がありますね。

Launchボタンの隣の歯車ボタンに、コマンドライン記入欄があるので、そちらに記載しましょう。

なお良く使いそうなポートやlowvramなどは、チェックボックスやテキストボックスになっていて設定しやすい！


【2023-08-28更新】Fooocusにも正式対応！ SDXL専用の最速簡単UI！

作者はcontrolnet実装でお馴染みイリヤたん。徹底して設定項目を平易に、かつ、裏でカツカツのチューニングを回してるあたり、Appleのプロダクト思想にも似てる気がします

version 2.3.0 で、話題のSDXL専用環境Fooocusにも対応！ 起動も生成も超絶速く、細かい設定も必要なく（step数とかCFGとか覚えなくてもいい！）、誰でも超美麗な画像が作れるUIです。matrix導入したら絶対入れて欲しい！


OMAKE: 次のアップデートで出るかも、comfy UIのUI ※出ました

さて、俺はmatrixにハマりすぎて、patreonにも参加した程です。

今日（2023/08/20現在）、2.2.1が今朝出たばかりなんですね。で、patreonに参加すると次期バージョンを試せるdiscordにも参加出来るんですが、2.3.0に面白い機能がありました。それがcomfy UIを、ノードではなく普通のautomatic1111ぽいパネルから操作するという機能……なんじゃそれ

おじいちゃーん、Xアカウントを技術向き・R18向きに分割した意味がなくなっちゃうので、そういう画像作るのやめてくださいねー、そろそろFANZA同人ホームに帰りましょうねー

※2023/10 追記
2.5.0が出ました！ この「inference」タブで、超高速生成環境を試すことができます！ 詳しくは俺のtwitterをツリー込みで見てみて！

というわけで何よりも導入がカンタンで、モデル管理がスマートな、「stabilitymatrix」、ぜひつかってみてください！

……

後は、生成画像管理ができれば、最高なんですけどね？（チラッ

この記事が気に入ったらサポートをしてみませんか？