hakomikan

生成AIの研究を趣味でやってます。

hakomikan

生成AIの研究を趣味でやってます。

Stable Cascadeを触ってみつつ、サンプルコードを改良してVRAM消費を抑える

　StabilityAIから新しいText to ImageモデルStable Cascadeが発表されました。XLの正式公開が2023年7月26日なので半年しか経ってません。そして全く互換性がありません。XLのブーム始まったばかりなのに早いって。 　というわけで生成してみます。一応生成までの道のりを記しておきます。 1．ローカルへのインストール コマンドプロンプトで適当なフォルダに赴き、git cloneを実行。gitが入ってない場合はgithubからzipをダウンロー

hakomikan

    • Stable Diffusion XLで生成画像の破綻が起きる問題の解析と対策

      　Animagine XL V3が出始めた辺りから、特定のプロンプトを入力すするとアーティファクトが出てくると言う話がポツポツと聞こえてきました。アーティファクトって言われると古代兵器を思い浮かべてしまうわけですが、ここでいうアーティファクトというのはノイズではないけれどなんか変な画像という意味ですね。 　細けぇ事はいいんだよ解決方法だけ教えろという方は最後の方にある説明を読んで下さい。 　入力するプロンプトの順番や強度を入れ替えると出てきたりするが、発生条件が解らないと

      hakomikan

      • デルタもんを例にキャラクターLoRAを作る

        　TrainTrainのLoRA作りについてチュートリアルを作ろうかと思っていたところで、AIに限り制限無く使用可能なキャラクター「デルタもん」が発表されました。大変素晴らしく面白い試みですね。早速デルタもんちゃんを例にしてLoRAを作ってみましょう。 　提供されている画像は前後2枚だけなのでLoRAを作ろうとすると教師画像が足りません。この対処法はいくつかあります。まず2枚でLoRAを作り、LoRAを使って画像を生成して、うまく生成できた画像でもう一度学習をするという蒸留

        hakomikan

        • LECOの学習を高速化する

          　こんにちは。READMEで書くには長そうだったのでこっちに書いてみます。Stable Diffusionの概念を消す/強調するLECO(Low-rank adaptation for Erasing COncepts)の学習時間を短縮する方法について解説します。 　LECOはPlat氏によって提案された学習手法で、Stable Diffusionのモデルから概念を除去する手法ESDをLoRAに落とし込んだものです。LECOで作られたLoRAはモデルから特定の概念を消去でき

          hakomikan

        Stable Cascadeを触ってみつつ、サンプルコードを改良してVRAM消費を抑える

        hakomikan