OpenjourneyやEimisAnimeDiffusionなど画像生成AIの様々なモデルデータを簡単に切り替えて使う方法
最近、MIdjourney v4スタイルのOpenjourneyやアニメイラストに特化したEimisAnimeDiffusion、Evt V2など新しいモデルデータが次々と発表されています。
こうしたモデルデータをGoogle Colabで簡単に切り替えて使う方法はないかと試行錯誤してきましたが、だんだん良いやり方が固まってきましたので、ここに紹介します。
詳しい操作方法などは、以下の記事も参考にしてください。
１．モデルデータの切り替え方法
ベースとなるColabノートには、ほぼワンクリックで5分弱の高速起動ができるcamenduruさんの「stable-diffusion-webui-colab」を使用します。このノートは、多機能で人気の高い画像生成ユーザーインターフェイスのStable Diffusion web UI(AUTOMATIC1111版)を採用しています。
まず、以下のサイトからColabノートにアクセスします。この時、Googleアカウントへの接続を求められたら、自分のアカウントにログインしてください。
すると、セルが一つだけ現れ、そこにコードが記載されています。（以下のコードをそのまま自分のColabノートにコピーし実行しても、同じように動作します。）
ここで、上部のランタイムタブの「ランタイムのタイプの変更」で「GPU」を選択しておいてください。
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui
!wget https://huggingface.co/camenduru/sd14/resolve/main/sd-v1-4.ckpt
!python launch.py --share --xformers --enable-insecure-extension-access 下から2行目の
「!wget https://huggingface.co/camenduru/sd14/resolve/main/sd-v1-4.ckpt」の部分がモデルデータのダウンロードを指示しているところで、現在は、Stable Diffusion v1.4のモデルデータのリンク先が記載されています。このhttps:以下の部分を書き換えれば、他のモデルデータに切り替えることができます。
あとは、セルのボタンをクリックして、セルを実行し、最後に表示されるRunning on public:URLの後のリンクをクリックすると、Stable Diffusion web UIの操作画面が開きます。
最終的には、こうして編集した何種類かのコードを以下のように自分のColabノートに貼り付けておけば、次からの実行が楽になります。
実行の際は、使いたいモデルデータの入ったセルを選んで実行します。
２．様々なモデルデータ
下記モデルデータの一覧から、モデルデータのリンクを先程の部分に上書きすると、モデルデータが切り替わります。一覧からリンクをコピーして、Ctrlキー+vで該当部分に貼り付けてください。
例えば、Waifu Diffusionの場合は、以下のようになります。
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui
!wget https://huggingface.co/hakurei/waifu-diffusion-v1-3/resolve/main/wd-v1-3-float32.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/wd-v1-3-float32.ckpt
!wget https://huggingface.co/hakurei/waifu-diffusion-v1-4/resolve/main/vae/kl-f8-anime2.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/wd-v1-3-float32.vae.pt
!python launch.py --share --xformers --enable-insecure-extension-access そして、操作画面立ち上げ後に、Settingsタブをクリックし、左側のStable Diffusionの文字をクリックして、SD VAEをAutomaticから好きなVAEに変更し、「Apply settings」のボタンをクリックしてください。
また、複数のモデルデータを同時にダウンロードして、Stable Diffusion web UIの操作画面左上の「Stable Diffusion checkpoint」で切り替えて使用することも可能です。その場合は、「-O /content/stable-diffusion-webui/models/Stable-diffusion/sd-v1-4.ckpt」の「sd-v1-4.ckpt」の部分をモデルデータのファイル名に書き換えます。なお、単独のモデルデータをダウンロードする場合よりも少し起動に時間がかかります。
例えば、Stable Diffusion v1.5とWaifu Diffusionの場合は、以下のようになります。
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui
!wget https://huggingface.co/camenduru/sd15/resolve/main/v1-5-pruned-emaonly.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/v1-5-pruned-emaonly.ckpt
!wget https://huggingface.co/hakurei/waifu-diffusion-v1-3/resolve/main/wd-v1-3-float32.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/wd-v1-3-float32.ckpt
!python launch.py --share --xformers --enable-insecure-extension-access〇モデルデータ一覧の全部入りバージョン
起動までに約13分かかりました。実際には、よく使うモデルだけに絞った方がよいと思います。ただ、同じプロンプトを色々なモデルで試して比較できるのは面白いです。
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui
!wget https://huggingface.co/camenduru/sd14/resolve/main/sd-v1-4.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/sd-v1-4.ckpt
!wget https://huggingface.co/camenduru/sd15/resolve/main/v1-5-pruned-emaonly.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/v1-5-pruned-emaonly.ckpt
!wget https://huggingface.co/camenduru/i15/resolve/main/sd-v1-5-inpainting.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/sd-v1-5-inpainting.ckpt
!wget https://huggingface.co/hakurei/waifu-diffusion-v1-3/resolve/main/wd-v1-3-float32.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/wd-v1-3-float32.ckpt
!wget https://huggingface.co/naclbit/trinart_stable_diffusion_v2/resolve/main/trinart2_step115000.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/trinart2_step115000.ckpt
!wget https://huggingface.co/prompthero/midjourney-v4-diffusion/resolve/main/mdjrny-v4.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/mdjrny-v4.ckpt
!wget https://huggingface.co/Linaqruf/anything-v3.0/resolve/main/Anything-V3.0-pruned.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/Anything-V3.0-pruned.ckpt
!wget https://huggingface.co/eimiss/EimisAnimeDiffusion_1.0v/resolve/main/EimisAnimeDiffusion_1-0v.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/EimisAnimeDiffusion_1-0v.ckpt
!wget https://huggingface.co/eimiss/EimisSemiRealistic/resolve/main/EimisSemiRealistic_1-0v.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/EimisSemiRealistic_1-0v.ckpt
!wget https://huggingface.co/haor/Evt_V2/resolve/main/evt_v2-ema-pruned.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/evt_v2-ema-pruned.ckpt
!wget https://huggingface.co/nitrosocke/Nitro-Diffusion/resolve/main/nitroDiffusion-v1.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/nitroDiffusion-v1.ckpt
!python launch.py --share --xformers --enable-insecure-extension-access〇 モデルデータの一覧
※モデルデータの詳細は、それぞれのモデルデータの名前をクリックしてください。Waifu Diffusion以下は、生成画像の例も載っています。
※Hugging Faceのモデルダウンロード週間ランキング(2022.11.23)によれば、①Stable Diffusion v1.5 ②Anything v3.0 ③Openjourney ④Nitro Diffusion ⑤Stable Diffusion v1.4 ⑥Ghibli Diffusion ⑦Waifu Diffusion ⑧Eimis Anime Diffusionでした。
・Stable Diffusion v2.0
Stable Diffusion v2.0の場合は、configも書き換える必要があるので、「!wget https://huggingface.co/camenduru/sd14/resolve/main/sd-v1-4.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/sd-v1-4.ckpt」の部分を以下のコードに差し替えてください。
なお、Stable Diffusion v2.0は、他のモデルと同時に使うと失敗することが多いので、単独で使用することを推奨します。
!wget https://huggingface.co/stabilityai/stable-diffusion-2/resolve/main/768-v-ema.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/768-v-ema.ckpt
!wget https://raw.githubusercontent.com/Stability-AI/stablediffusion/main/configs/stable-diffusion/v2-inference-v.yaml -O /content/stable-diffusion-webui/models/Stable-diffusion/768-v-ema.yaml・Stable Diffusion v1.5
https://huggingface.co/camenduru/sd15/resolve/main/v1-5-pruned-emaonly.ckpt
・Stable Diffusion Inpainting
https://huggingface.co/camenduru/i15/resolve/main/sd-v1-5-inpainting.ckpt
・Waifu Diffusion v1.3
https://huggingface.co/hakurei/waifu-diffusion-v1-3/resolve/main/wd-v1-3-float32.ckpt
・TrinArt stable diffusion v2
https://huggingface.co/naclbit/trinart_stable_diffusion_v2/resolve/main/trinart2_step115000.ckpt
・Openjourney
https://huggingface.co/prompthero/midjourney-v4-diffusion/resolve/main/mdjrny-v4.ckpt
・Anything v3.0
https://huggingface.co/Linaqruf/anything-v3.0/resolve/main/Anything-V3.0-pruned.ckpt
・EimisAnimeDiffusion 1.0v
https://huggingface.co/eimiss/EimisAnimeDiffusion_1.0v/resolve/main/EimisAnimeDiffusion_1-0v.ckpt
・EimisSemiRealistic
https://huggingface.co/eimiss/EimisSemiRealistic/resolve/main/EimisSemiRealistic_1-0v.ckpt
・Evt V2
https://huggingface.co/haor/Evt_V2/resolve/main/evt_v2-ema-pruned.ckpt
・Nitro Diffusion
https://huggingface.co/nitrosocke/Nitro-Diffusion/resolve/main/nitroDiffusion-v1.ckpt
３．他のColabノートを使う方法
① TheLastBenさんのFast Stable Diffusion
AUTOMATIC1111さんのGitHubページに5種類のGoogle Colabノートが載っています。そのうちの一つがTheLastBenさんの「fast-stable-diffusion」です。
こちらのColabノートを開き、3番目のセル「Model Download/Load」の「Link_to_trained_model:」のところにモデルデータのリンクを貼り付けます。次に、最後のセル「Start stable-diffusion」の
「Use_Gradio_Server:」にチェックします。そして、画面上部のランタイムのタブから「すべてのセルを実行」をクリックして、最後に表示されるRunning on public URL:の後のリンクをクリックすると、Stable Diffusion web UIの操作画面が開きます。なお、このノートはGoogleドライブを使用します。
② StableDiffusionUI-Voldemort V1.3.ipynb
これもAUTOMATIC1111さんのGitHubページに載っているGoogle Colabノートの一つです。
こちらのColabノートを開き、最初のセルの最後の行の「https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned.ckpt」の部分を他のモデルデータのリンクに書き換えます。そして、すべてのセルを実行し、最後に表示されるRunning on public URL:の後のリンクをクリックすると、パスワード等入力画面が開きます。ここで、USERNAMEに「me」、PASSWORDに「qwerty」を入力すると、Stable Diffusion web UIの操作画面が開きます。
他のColabノートも大体同じような方法でモデルデータを切り替えることができます。
４．参考サイト
画像生成に必要なプロンプト（呪文）は、以下のAIイラスト投稿サイトなどで研究してください。投稿された画像をクリックすると、その画像を生成するときに使用したプロンプトを見ることができます。
この記事が気に入ったらサポートをしてみませんか？