![見出し画像](https://assets.st-note.com/production/uploads/images/86233858/rectangle_large_type_2_6a9c7d9fcd143271eb1e1af87c1bd6f4.png?width=1200)
Colabで動かすStableDiffusion実装
自分がつかってる、Google Colab用StableDiffusion環境を公開しました。
海外のWEB UIのが重いのと、やりたいことが微妙に違うので自分なりに作った。公式のDiffuserを使わないので軽いです。無課金のcolabでも動くのではないかと思います。
使い方
GitHubページの「Open in Colab」ボタンをおして、colabで開く。
このページ上部のメニューで、「ランタイム > ランタイムのタイプを変更」からGPUを有効化を確認
HuggingFaceでアカウントを作成
StableDiffusionのモデルページで、「利用規約」に合意する。
モデルファイル sd-v1-4.ckpt をダウンロード
モデルファイルを Google Drive等にアップロード
下のセル 「1-1. Google Driveとの接続」を実行
下のセル 「1-2. のフォーム」に、Google Driveにアップしたモデルのパスをセット。(画面左のフォルダから、アップしたファイルを探して右クリックでパスを取得してコピペ)。
このページ上部のメニューで、「ランタイム > 全てのセルを実行」を選択
一番したのほうにGUIが出現する。(近くのURLで別窓でも開ける)。
2回目以降は、9番から実行すればOK
特徴
GUI
タイル(ループ)モード
MidJournery的なプロンプトへの重みづけ。
プロンプトAとプロンプトBのブレンド生成
公式のStableDiffusionと比べて、以下みたいなことができます。
![](https://assets.st-note.com/img/1662356383963-ZYKT18I8Wm.png)
![](https://assets.st-note.com/img/1662356314726-PEtRwn2kdz.png)
![](https://assets.st-note.com/img/1662359264997-lulYydvvuu.png)
![](https://assets.st-note.com/img/1662375562584-KljPx6ngsl.png)
こういうのも作れる。ちょっとコード追加するとアニメーションもいけます(コードを整理中)。
子供から大人までの変化を、まるっとAIで生成。
— 深津 貴之 / THE GUILD / note.com (@fladdict) September 6, 2022
キャラの設定画渡したら、表情や年齢のバリエーション出すツールとかいけそう。寝てる間にレンダリングするので、漬物つくってるっぽさある。コードを整理中。#stablediffusion pic.twitter.com/vBjpy5OR27
「街の発展と崩壊」
— 深津 貴之 / THE GUILD / note.com (@fladdict) September 5, 2022
自前のColabでも、プロンプト同士のアニメーション作れた。1時間〜2時間で生成できる感じ。潜在空間同士を連結すると綺麗にアニメるな。#StableDiffusion pic.twitter.com/m70ajR6qsC
StableDiffusion、そのまま使っても十分楽しいですが、潜在空間のコンセプトを理解して直接いじくれるようになると、かなり応用がきいてよいです。
プロンプトのコツについて
![](https://assets.st-note.com/img/1662368668508-MF3FpBjLjE.png?width=1200)
![](https://assets.st-note.com/img/1662368755902-gMawkPkrjD.png)
![](https://assets.st-note.com/img/1662368942063-SUCPFARa87.png?width=1200)
いいなと思ったら応援しよう!
![深津 貴之 (fladdict)](https://assets.st-note.com/production/uploads/images/4898307/profile_2711dc5607ec01a1b669b6a183355d39.jpg?width=600&crop=1:1,smart)