コピぺで誰でも簡単Google ColabでStableDiffusion WebUI環境構築 Embedding LoRA導入も 。 Google DriveからModelやLoraなどをColabにコピーするコード付き。

0. Google ColabでStableDiffusion WebUIを動かして画像を生成しよう。

これに関しては多くの記事があるし、こらぼ | AI画像生成研究  https://note.com/colab_aiさんの記事が詳しいのでそれを読んで下さいい。

Google Colaboratory

上の共有されていたコラボファイルのリンクをクリックして開いて

手順にコードの横の実行ボタンを押せばweb uiが開くのそこでpromptを入力するればできると思います。

1. やりたいこと、できること。Modelとは

モデルは画像を生成するために訓練された機械学習アルゴリズムのことで。モデルは、大量の画像データを学習し、特定の入力に対して新しい画像を生成する能力を持ちます。
そして学習済みのモデルを使えばアニメっぽいイラストや実写っぽいイラスト、はたまたエロに特化してたモデルを使えばその訓練されたモデルの高品質の画像を生成できます。

例えばhttps://civitai.com/のChilloutMixというモデルをダウンロードして使えばアニメでも実写でも可愛い女性の画像を簡単に生成することができます

2. やりたいこと、できること。LoRAとは

LoRAは「Low-Rank Adaptation」の頭文字を取った略語で、簡単に言うと、既存のモデルに新しい被写体を学習させる追加学習の手法です。ただし、これだけでは理解が難しいため、具体例を挙げて説明しましょう。

例えばhttps://civitai.com/に行きcelebrityタグをクリックして自分の好きな芸能人を見つけたらクリックします。

すると上記のようなページ個別ページが出ます。そして横のDownloadボタンを押すとダウンロードでき、それを使うとBLACKPINKのロゼさんの顔のアニメ絵でも実写絵でもその顔に似た画像を生成することができるようになります

*もちろんヌード画像なども作れてしまいますが、どのような画像であれ、作成した画像を配布したり、商業利用すると名誉毀損や肖像権侵害の罪に問われます。

例: 架空のKpopアイドル風のモデルを作成し、架空の服を着せる。

3. やりたいこと、できること。Embeddingとは

Embeddingとは特定のテキストに絵のベクトルを条件付けする事が出来るもので、画風などを寄せる事が出来ます。

https://civitai.com/  に行きtypeがTEXTUAL INVERSIONになっているものをダウンロードし使うとアニメでも実写でも下記のような画風の韓国人風の顔の画像が作れるようになります。

使い方はプロンプト欄のpositiveの方にulzzang-6500-v1.1と入力すると画風を寄せた画像が生成できるよなります。また、ulzzang-6500-v1.1:の横に0.6や1などの数字を追加し変えることで寄せ幅も変えられます。

上記で説明したモデル、LoRA、Embeddingを工夫しながら使うことで例えば可愛い韓国人のkpopアイドルの〇〇を更に自分好みにした画像など、特定の自分の目的に沿った画像をカスタマイズしながら作ることができます。

ではダウンロードしたものをどう使えばいいのでしょうか？これはまぁコラボにダウンロードしたモデルなどをコピーして所定のフォルダにドラッグあんどドロップすればいいのですが、Google Colabは毎回ページを閉じる毎にファイルが消えてしまうし、自分のコンピュータにダウンロードしたLoRAやモデルを使うにしても毎回ダウンロードフォルダに移してさらに指定のフォルダに移動するという手間がかかります。

そこでGoogle Driveのフォルダにダウンロードしたものを置いておけばボタン一つでコピーして実行までしてくれるスクリプトを作りました。

3.ダウンロードしたModelやLoRAをボタン一つでコピーして起動

それは下記のコードをコピペして実行するだけ。