#拡散モデル
Latent Consistency Models について
こんにちはこんばんは、teftef です。今回は爆速画像生成ができる Latent Consistency Models についてです。WebUI 拡張やお試しも載せておきます。
拡散モデルの拡散過程は確率常微分方程式 (Probability Flow ODE) を解いて得ることができ、少ないステップによってその解軌道に沿ったサンプリングができるように学習します。これによって、Consisi
お絵描きAIに使われるGANと拡散モデルについて初学者向けに解説してみた(その１ : オートエンコーダー編)
こんにちは、こんばんは teftef です。今回はいよいよ Diffusion Model についての記事です。Diffusion Model は NovelAI や Stable Diffudsion , Midjyouney にも使われている生成モデルの一つです。これまでは生成モデルの覇権をとっていた GAN について 3 記事ほど書いてきて、「 GAN ってすごいよ！」というのをさんざん言
もっとみる
AI を自分好みに調整できる、追加学習まとめ (番外編 : データセットの集め方について)
こんにちはこんばんは、teftef です。今回は主の追加学習用のデータセットの集め方と追加学習モデルを使えるようにした話について書いていきます。それでは行きます。
『追加学習まとめ』の記事で書いたように追加学習をするために多くのデータを収集する必要があります。特にファインチューニング、転移学習、は多くのデータを必要とします。そのため学習元となる画像を大量に用意する必要があり、持っていないので
AI を自分好みに調整できる、追加学習まとめ ( その５: LoRA)
こんにちはこんばんは、teftef です。今回も追加学習手法についてです。これまで説明してきた Diffusion Model のファインチューニングでは一般的に Unet , Text Transformer の再学習を行いました。しかし、全てのパラメーターを再学習するには時間がかかってしまいます。今回はファインチューニング後のモデルの品質を下げず、省時間、省メモリの手法を実現した軽量化手法、
もっとみる
『FABRIC』 : フィードバックベース画像Editor
こんにちはこんばんは、teftef です。今回はユーザーのお気に入り画像をフィードバックし、ファインチューン無しでその画像に寄った画像を生成してくれるツール「 FABRIC 」についてです。 FABRIC はユーザーのフィードバックを基に、LDMs にそのフィードバック情報を追加することでユーザーエクスペリエンスと出力品質を向上させています。
私もまだ初学者であり、説明が間違っていたり勘違い
ComfyUI で動かす Stable Diffsion XL
こんにちはこんばんは、teftef です。今回は話題の Stable Diffusion XL についてです。と、言っても使い方の記事は調べればいくらでも出てくると思うので、主は依然として論文解説をします。使い方を見に来たという方々にとってはその目的にに沿わないと思うので、主が特に分かりやすいと思った記事を下に張っておきます。今回は SDXL が条件付けとして画像のサイズを使用していることについ
もっとみる
fMRI から画像を生成する話
こんにちはこんばんは、teftef です。今回は大阪大学から出た fMRI 画像から Stable Diffusion を用いて画像生成する論文をベースに Brain 2 Image について書いていこうと思います。
私もまだ初学者であり、説明が間違っていたり勘違いがある可能性が 0 ではないということをご了承ください。ぜひコメントなどをいただけたら幸いです。また、この記事を作成するにあたり、
AI を自分好みに調整できる、追加学習まとめ ( その６: Instruct Pix2Pix )
こんにちはこんばんは、teftef です。今回は画像に対して text を用いて操作内容を指示し、元画像と大きく離れることなく指定した内容を編集する手法、Instruct Pix2Pix です。
私もまだ初学者であり、説明が間違っていたり勘違いがある可能性が 0 ではないということをご了承ください。ぜひコメントなどをいただけたら幸いです。
それでは行きます。
使用した論文 今回、使用した論文
お絵描きAIに使われるGANと拡散モデルについて初学者向けに解説してみた(その２ : 応用手法編)
こんにちは、こんばんは teftef です。今回は Diffusion Model の応用手法について、書いていく記事です。前回の記事では Diffusion Model とGAN の比較について書きました。お互いが長所と短所を持ち合わせていて、今回の記事では、その復習から導入し、Diffusion Autoencoder という応用手法について書いていこうと思います。おそらく前回の記事を見て
もっとみる