日刊 画像生成AI (2022年9月4日)
画像生成AI界は、今認識できないスピードで進化をし続けています。
DALL・E2公開、Midjourney公開、StableDiffusionがオープンソースで公開されて..進化の速度が上がり続けており、日々異常なスピードで変化しています。
そんな中、毎日時間なくて全然情報追えない..！って人のために業界変化、新表現、思考、問題、技術を毎日あらゆるメディアを調べ、まとめています。
昨日までの投稿はこちら
（いいねくれるとやる気がでます。どんどん見てくれる人増えて嬉しい。）
開発
Optimized Stable Diffusion v0.8
最適化されたStable Diffusionです。10GBVRAMがこれまで必要でしたが、512x512のイメージ生成に2.86GBのVRAMしか必要じゃなくなりました。また、8GBのVRAMで1280x576、1024x704のイメージ生成ができるようです。速度は影響を受けないそうです。
自分で組み込むの面倒だからDeforumに組み込まれないかな。
1984x512とかいけてるっぽい？やば
Stable Diffusion for Kirita Outpainting実装
Kiritaはデジタル ペインティングと2D アニメーション用で、3日前くらいにリリースされました。KiritaはMacにも入れれます。
Webカメラと接続（Stable Diffusion）
リアルタイムの3倍の遅さらしいですが、こういうことが可能みたいです。
Houdini × Stable Diffusion
#Houdini × #stablediffusion
— 天照/H.Teruyama (@phantom_owl) September 4, 2022
サクッとこういうのを作れるのもHoudiniの良いところ。 pic.twitter.com/uOffFjqsR4
無料AI画像生成サービス memeplex seed機能追加
日本初なのと、Shi3zさんがやられているので紹介。機能が続々追加されているようです。
わーい、memeplexにseed固定機能がつきました。からあげ完全再現余裕。
— からあげ (@karaage0703) September 2, 2022
私のzennの記事をきっかけに追加してくださったみたいです。
こんな巨大なウェブサービスの開発に少しでも貢献できるなんて感激ですねhttps://t.co/2zMNymDZH7 pic.twitter.com/e0aMCp4Rb5
Improve Diffuser Pipeline
あとこれもメモ。深津さんがメモリ使用量をかなり削減するためのコードを作成。Optimized Stable Diffusionと同じ仕組みでなければ組み込んだら相当なメモリ削減に繋がるかもしれません
Wrote concept code for reducing memory usage of multiple diffuser pipelines. Helps running stable diffusion on Google colab.#stablediffusion https://t.co/WXMDIMJOzt
— 深津 貴之 / THE GUILD / note.com (@fladdict) September 4, 2022
Docker + Stable Diffusion + streamlit
streamlitというWebフロントエンドが簡単に作れるPythonライブラリでStable Diffusionを使えるようにした人が現れました。
表現
人気キャラクター × GTA風
これ系は流行っていますね。毎日見る気がしています。しかもいつもかなり伸びてますね。
パターン拡大
Outpaintingは、パターンの複製、巨大化に最適ですね。ただDALL・E2は現状どうしても筆っぽい質感になってしまうであったり歪みが入ってしまうので実用できるのはイラスト業界ぐらい。ここが一気に改善されれば業界が変わると思います。
意外な外側
Outpaintingを使えば、実は外側こんなんだったよ！みたいな面白画像が沢山作れちゃいますね。いいねは少なかったですがいい事例としていくつかピック。
僕の方でもいくつかやっています。
DALL·EのOutpaintingで『天空の城ラピュタ』のワンシーンの外側を描きました。 #dalle2 #ジブリ pic.twitter.com/1q9Y4EMX4d
— やまかず (@Yamkaz) September 4, 2022
DALL·EのOutpaintingで『風の谷のナウシカ』のワンシーンの外側を描きました。 #dalle2 #ジブリ pic.twitter.com/gc2X8EIHuZ
— やまかず (@Yamkaz) September 4, 2022
DALL·EのOutpaintingで『となりのトトロ』のワンシーンの外側を描きました。 #dalle2 #ジブリ pic.twitter.com/M9S45cyINl
— やまかず (@Yamkaz) September 4, 2022
特殊縦長画像
Outpainting使えば、いろんな世界を組み合わせた特殊な縦長画像とか作れちゃうよねって思いました。
Another test of "outpainting" with Dall-e 2. Some of it is surprisingly good but for some reason it really struggled with the transition from day sky to night sky.
— Martin Nebelong (@MartinNebelong) September 4, 2022
Lots of stuff happening with Stable Diffusion too on this front.. More to follow in a few days.#dalle2 #aiart pic.twitter.com/q5eCEplx3w
Stable Diffusionでの動画生成
見かけることが日本でも増えてきましたね。音楽と一緒に動いてる動画を見るのはとても素敵です。
In early 2020, @TormanJeremy and I made “Curse of the Dancing Flamingos”, set to music by @cYsmix. At the end of 2020 it was collected by @MaxStealth5 on SuperRare. And in a few weeks, it’s going to be auctioned at @Sothebys in New York 🤯https://t.co/eGF3kaQtiv pic.twitter.com/iKN7fL3f1A
— Gavin Shapiro 🐧 (@shapiro500) September 3, 2022
This is the 3d setting on #DeforumDiffusion #stablediffusion #AIart #AIArtwork pic.twitter.com/lagye43asl
— Aiart (@Aiartitune) September 3, 2022
Midjourneyの顔のレベルかなり高い。
（testp, creativeなどのコマンド現在開放中）
Midjourney生成テスト
— 𝒏🅞𝒈𝒖𝒊𝒔𝒔 (@n0guiss_y) September 3, 2022
生成に慣れてきて自分なりに色々なpromptを加え出すと徐々にベクトルがズレていき画像がキメラ化する。そこからまた引き算足し算を繰り返し理想に近付けていく。それが楽しい。#midjourney #Midjourneyart pic.twitter.com/eXEykzOsuj
研究
Sampler比較
Sampler比較は過去にもありましたね、こちら。Samplerの詳しい説明などももうすぐ投稿する予定なので見ていてください。k_eulerがよさそうで使ってる。
デッサン、クロッキーできる人はimg2img強い
木炭スケッチをstable diffusion img2imgで写真に変えている事例。
デッサンやクロッキーしっかりできる人は、やっぱりつおい。 手書きラフスケッチをAIで実写化 https://t.co/sBQmFnuTSS
— 深津 貴之 / THE GUILD / note.com (@fladdict) September 4, 2022
思想・ムーブメント
Midjourneyでグラフィックノベルを制作し、Amazonベストセラーリストに掲載された人登場
いやー現状プロンプトの指定技術さえあればできますからね、Twitterで1度漫画を作った方がかなり伸びてましたが、実際に販売してベストセラーリストに載ってるのはかなりすごいですね。それくらい成立していないといけないと思うので。
無料ランキングでしたが、すごいです。ドクターフーとかブレードランナーより上なんですね。
DALL・E2がアーティストや写真家の労力を保障せず稼いでいることを問題視。
Redditで1.1kと伸びています。既に何度も議論に上がっている話題だと思いますが、アーティストもデザイナーもあらゆるクリエイターは誰かからインスピレーションがないとなかなかいいと思われるものは出せないと思うので、ここはそのまんま同じものが出ないようにするとかマナーが生まれるという感じではないでしょうか。
私たちは全ての国のバリエーションを構築する予定
今現状データセットは海外の寄りなのですが、これがおそらくこれらの投稿のスレッドを読む限り、それぞれの国に合わせた微調整(fine-tuning)がされて、親のStable Diffusionに統合される..？という説がありそうな議論をしていますね。まだ読みきれていないですがおそらく..ちょっと後でちゃんとここ理解して書きます。
この辺り理解できるエンジニアの方、この業界にある方繋がったり、直接お話ししたいです。情報交換、これからのことについて日本ユーザー同士で議論したい。
We are doing this if anyone would like to chat, with some extra cool bits as we will also be building variants for every nation along with associated open datasets 👀
— Emad (@EMostaque) September 3, 2022
Stack more layers works to a point, but distributed AI autoregressive models will significantly outperform imo https://t.co/YrjeS5cAmn
最後に
今日も議論や、研究、開発が進んでいますね。気付いてない部分でもっと研究されている方々がいると思うのでもうちょっと深ぼってチェックしたいです。（この辺り情報足りてないとかありましたら、指摘してください。その部分も追って入れておきます）
Twitterに、毎日製作したアートや、最新情報、検証を載せているのでよかったらフォローしてね
https://twitter.com/Yamkaz
サポートいただけると喜びます。本を読むのが好きなので、いただいたものはそこに使わせていただきます