日刊 画像生成AI (2022年10月3日)
画像生成AI界は、今認識できないスピードで進化をし続けています。
DALL・E2公開、Midjourney公開、StableDiffusionがオープンソースで公開されて..進化の速度が上がり続けており、日々異常なスピードで変化しています。
そんな中、毎日時間なくて全然情報追えない..！って人のために業界変化、新表現、思考、問題、技術を毎日あらゆるメディアを調べ、まとめています。
昨日までの投稿はこちら
開発
ついに…NovelAIの画像生成機能が公開！
この日毎日しばらく前から生成物がツイッターに上がるごとにプチ話題になっていたNovelAIの画像生成機能がついに公開され大きな話題となりました。
主な機能
・入力内容に基づくタグ提案。知識量表記
・これまで以上に長いプロンプト入力が可能 （231トークン）
・任意のアスペクト比の画像を生成が可能 （トリミングなしの学習）
・CLIPモデルの言語理解の改善
・Furryモデルも搭載
NovelAI's Image Generation, #NovelAIDiffusion is live on https://t.co/UTsnpZKa6W now!
— NovelAI (@novelaiofficial) October 3, 2022
NovelAI Diffusion Anime image generation is uniquely tailored to give you a creative tool to visualize your visions without limitations, allowing you to paint the stories of your imagination. pic.twitter.com/WZEpQ5idgI
タグ機能がついており、プロンプトに詳しくない人でも使いやすくなっています。
Let's focus on what makes NovelAI Diffusion so unique!
— NovelAI (@novelaiofficial) October 3, 2022
Tagging:
The team seized the opportunity to fill a gap in existing Image Models knowledge and teach the AI about tags!
When you type your image generation prompt, tagging suggestions will appear. pic.twitter.com/2kB66HbpAQ
どれだけAIが知識を持っているかを白丸の濃さで表現するUIも搭載。
Our finetuned #NovelAIDiffusion allows you to give the AI clear instructions on what to generate.
— NovelAI (@novelaiofficial) October 3, 2022
The AI will suggest tags based on what you type and display corresponding circle markers indicating how much knowledge it has of each tag. pic.twitter.com/mSMuMna1ZV
img2img機能はこちら。
All subscribers will have access to image-to-image (img2img) features, in which you can tweak, modify, or even draw images from scratch and have the model generate from it as a base. pic.twitter.com/ezTD7m6Lj0
— NovelAI (@novelaiofficial) October 3, 2022
傘がまともに描画される...指が崩壊してない...可愛い...
— Plat 🖼️ (@p1atdev_art) October 3, 2022
すご...#NovelAIDiffusion pic.twitter.com/75MEylyooS
公式のタグを参考に女の子を出して貰ったけどすっごいいいねコレ#NovelAIDiffusion#NovelAI pic.twitter.com/iRYVA6jt3p
— 電々 (@den2_nova) October 3, 2022
NovelAI、イラストとしての安定が段違いだ...#NovelAIDiffusion pic.twitter.com/d2j2QnUDBf
— まっくす (@minux302) October 3, 2022
#NovelAIDiffusion #novelAI がリリースされました。多分現状課金会員のみ遊べるAI画像生成サービス。
— 852話 (@8co28) October 3, 2022
かなり綺麗な線画と塗りに特化したキャラクターを生成してくれる。あとすごくボディラインが良いですね。ハイクオリティ過ぎて普通に人間が描いたって言っても遜色ない仕上がり(触ってまだ5分くらい pic.twitter.com/e9zbzKMGVi
あまりの人気に最大30分ほどサブスクリプション登録が遅くなるまでに。
We are receiving reports of delayed subscription activations. The current demand is causing our payment processor to lag behind in syncing new subscription status updates.
— NovelAI (@novelaiofficial) October 3, 2022
This delay may take up to around ~30 minutes at this time.
Thank you for your understanding & patience!
規約については852話さんがまとめていましたのでこちら。
規約についてはこちら
— 852話 (@8co28) October 3, 2022
NovelAIhttps://t.co/5pYLDvUc8o
・生成物の権利はユーザーにあり、NovelAIはユーザーのコンテンツに対する所有権を主張しない。
・何か問題が起きたとしても関知しない(自己責任)
・NovelAIは18歳以上のユーザーが対象
かりみやさんがnoteで爆速でまとめられています。まだ使っていない人は是非こちらから。僕もNovelAIで盛り上がってた時仕事中だったので終わってからこれを読みました。
https://t.co/y8NCzJU0o2
— かりみや (@Callimiya) October 3, 2022
NovelAIの始め方と基礎的な使い方のNoteを速攻で書きました
もち無料です#NovelAI #StableDiffusion #AIart
らぶひなDiffuison
あるふさんがラブひなDiffusionという赤松健生成の漫画を学習されたDiffusionモデルを制作されているようです。楽しみ。mimicを上回るセキュリティ対策で公開されるそうです。今後の動向に期待です。
（現在はCool Japan Diffusionに特化されている..？かもです。）
赤松健先生のラブひなを学習させた画像生成AI ( #stablediffusion ) に画像を生成させました。日本でも技術開発は進んでいます。みなさま安心してください。また、赤松健先生やManga109データセットを提供してくださった東大の相澤・山肩・松井研究室や山崎研究室のみなさま、ありがとうございました。 pic.twitter.com/coiO3kt9ik
— あるふ (@alfredplpl) October 3, 2022
ラブひな Diffusion の生成結果、公開まであと少し待ってください。最終確認をとっています。赤松健先生やManga109データセットを提供してくださった東大の相澤山崎松井研究室のみなさま、ありがとうございます。
— あるふ (@alfredplpl) October 3, 2022
852話さんがマンガが作れないか検証していたので、ラブひな Diffusion も1ページを生成できるか検証してみます
— あるふ (@alfredplpl) October 4, 2022
ラブひな Diffusion ですが、結論として、生成画像は公開できます。ただし、セキュリティのプロの端くれでもあるので、mimicを上回る対策をして公開する予定です。とにかく裏側では対策しているということだけ伝わってほしいと思います。
— あるふ (@alfredplpl) October 2, 2022
冬優子ちゃん特化AIイラストツールが公開。
Waifu DiffusionにDreamBoothで冬優子ちゃんを学習されているとのこと。
冬優子ちゃん特化のAIイラストツールを公開しました。
— yuu (@yuu_ai_novel) October 3, 2022
冬優子ちゃん以外は描けません。 https://t.co/StZeA5jNDL #StableDiffusionKawaii #WaifuDiffusion #黛冬優子 #シャニマス pic.twitter.com/lNifcO6pYJ
colabでDreamBoothして一発でckpt生成して、WebUIで利用するcolab (WebUI by AUTOMATIC1111がDreamBoothモデルに対応。)
1. こちらのcolabで学習
2. 結果のckptファイルを
「stable-diffusion-webui/models/Stable-diffusion」に配置。
3.WebUI再起動。設定タブからモデルを選択。
これの元となったcolabはおそらくこれです。tensor_every_day20氏がckptファイル出力をするように開発したようです。
Pfaeff氏も作られているようです。（中身はちょっと違う..？）
Diffuser形式モデルからckptファイルへの変換はこちら。
https://gist.github.com/jachiam/8a5c0b607e38fcc585168b90c686eb05
sd-guiが公開。
mac, windows, linuxで動作するstable diffusionのUIが登場。プロンプト、モディファイア管理機能が個人的には使ってるuiに搭載されてないのでアツい。
主な機能
・テキストから画像生成
・インペイント/アウトペイント
・プロンプト、モディファイアの管理機能
・過去の生成物ギャラリー
DreamBooth Concept Libraryが75個を超えました
DreamBoothで学習完了した概念が沢山アップロードされています。75個数をこの日超えたようです。（今は78個）
トレーニングはこちら
推論はこちら
Stable Hordeに11個新たにGPUが追加。無料で、1024x1024 を2分で生成。
Stable HordeとはAIモデル用の巨大なクラウドソーシング分散クラスターで、コミュニティが提供している空きリソースを活用することで画像生成、テキスト生成が可能なものです。今回荒棚に11個のGPUが追加されたそうです。
Prompt ParrotのReplicateが公開。
Stephen Young氏のPrompt Parrotが公開。51,747 のプロンプトで微調整されていて、プロンプトが生成されます。
dreamfields3d(text2model) beta v0.65 リリース！
DreamFusionとは違う、前に出ていた3Dからモデルを生成するモデルがv0.65が公開されていました。
（今はStable-DreamFusionの方が盛り上がってる）
#dreamfields3d (text2model AI tool) beta v0.65 release!
— Simon Meng (@meng_shengyu) October 3, 2022
Now could apply image prompts only in assigned direction to avoid overfitting. Check below for image prompt used in this video.
Colab:https://t.co/z7B8xx6aX0
Code:https://t.co/uSkyNMxliJ#AIart #AIArtwork #aiartist #text2art https://t.co/EErCASene0 pic.twitter.com/UImTNQsvsX
Understanding Pure CLIP Guidance for Voxel Grid NeRF Models
この日公開されたテキストから3Dを生成するモデルの研究が公開。コードはもうすぐ公開されるとのこと。
AI Programmer公開。
2f6i氏が日本語からAIが自動的にプログラムを書いてくれるサービス「AI Programmer」を公開しました。この後色んな話題を呼びます。（他のやつも拾っていきたいので日刊 画像生成AIから日刊拡散モデルか、生成AIとかにしようかと思ってます。）
日本語からAIが自動的にプログラムを書いてくれるサービス「AI Programmer」を公開したhttps://t.co/25cVruZxBC
— 2f6i (@2feet6inches) October 2, 2022
対応言語は下記の通り#Blockchain #Python #SQL #javascript #html #cpp
俺将来失業するかも pic.twitter.com/6ycYGV8cFz
— ぱしふぃん (@pacifinapacific) October 3, 2022
Self-Programming Artificial Intelligence Using Code-Generating Language Models
自身のソースコードを修正する能力を持つコード生成言語モデルが作成されたようで話題になってました。あまり詳しくないのでこれくらいしか書けないです。詳しい方に聞いてください。
表現
自分の顔をDreamBoothして生成したAIアニメーション
Here's the last vid from my first experiments with using #dreambooth to get my likeness into #stablediffusion.
— Infinite Vibes (@Infinite__Vibes) October 3, 2022
Not the most exciting video but the stability of the face when fine-tuned like this is noteworthy.
(sound on, music is an oldie I just rediscovered)#aiart pic.twitter.com/qrryzgAwg7
3Dモデルをimg2imgしてアニメーション制作。
#b3d #stablediffusionart pic.twitter.com/s3K3wcHrml
— KoalaOK- (@KoalaOK_) October 3, 2022
独自のstable 3D animationアルゴリズムでAIアニメーション制作
Disco DiffusionとStableDiffuison用の3D アルゴリズムはもうありましたが、
このアルゴリズムでは前のフレームの画像から深度マップを作成して3D空間にしてから寄って、補完している点が新しいそうです。（不足している情報を空間を「ゆがめる」ことで補間すること）。Dmitrii Tochilkinさんはこの手法をPOISD -- "Pointcloud Occlusion Inpainting with Stable Diffusion"と名付けています。
"A Year"
— Dmitrii Tochilkin (@cut_pow) October 3, 2022
AI animation artwork made in colab using my custom stable 3D animation algorithm on top of #stablediffusion model. In the thread I share some details about the algo and when i plan to release it, and talk about the joy and future of AI filmmaking
🎶 DakhaBrakha - Vesna pic.twitter.com/OexCG5DCl3
詳細はリプ欄に記載されています。
1.1 Algorithm. Сore idea of the algorithm is to keep image parts known from the previous frame intact and inpaint only image areas that are missing. We can determine what is known and what is missing from a depth map and a camera transform. Algo steps overview below🎦 pic.twitter.com/dZAnRBx8An
— Dmitrii Tochilkin (@cut_pow) October 3, 2022
研究・検証
NovelAIが公開されたので検証者が溢れ出ました、この日はたくさんピックアップしています。
NovelAI検証者続々
Waifu Diffusion だと一瞬で崩壊した寝そべってる構図も NovelAI なら平気で生成できる...#NovelAIDiffusion pic.twitter.com/LFl2Nt66rR
— Plat 🖼️ (@p1atdev_art) October 3, 2022
脚が崩壊せずにいい感じの構図になるのすごい#NovelAIDiffusion pic.twitter.com/avxZaALFGb
— Plat 🖼️ (@p1atdev_art) October 3, 2022
びっくりするぐらいめちゃくちゃ指示が通る#NovelAIDiffusion pic.twitter.com/DXCPFSeOBo
— Plat 🖼️ (@p1atdev_art) October 3, 2022
30 hours vs. 30 seconds
— yue (@yueko__) October 3, 2022
I wonder how long it will take until there are dedicated ai artist accounts because the generations are getting pretty insane #novelAI #NovelAIDiffusion
I tried lowering the strength for this one which creates an image closer to the one you upload pic.twitter.com/SIlmn5AXWA
色んなものが出力可能だと理解され始める。
百合、小さい女の子、初音ミクまで…
画像生成AIのNovelAI続き2。百合も簡単に生成できる。どういうデータで学習しているか含めちょっと怖いほどのクオリティ pic.twitter.com/Ws6QaHEsKD
— Hirokazu Yokohara (@Yokohara_h) October 3, 2022
#NovelAIDiffusion #novelAI がリリースされました4
— 852話 (@8co28) October 3, 2022
いやとにかくやばいが何よりやばいのは今まで以上にこれ……癖と趣向が……バレて アレですね……は～ 小さい女の子強すぎる これは…… pic.twitter.com/Q02rchIYq6
画像生成AIのNovelAIが使えるようになってたので試した。初音ミク。何もせず異常なクオリティ出るのスゴイ。ただ特定の画風にある程度固定されていそうな気はする pic.twitter.com/mmeo5iJCp8
— Hirokazu Yokohara (@Yokohara_h) October 3, 2022
アイスも食べれる。
プロンプトの誘導能力が高すぎることが理解されていきます。
ちゃんとアイス食ってる#NovelAIDiffusion pic.twitter.com/hLy8Q7MWbl
— Plat 🖼️ (@p1atdev_art) October 3, 2022
#NovelAIDiffusion すごいな…別にオタクではなくて単純に技術に興味あるだけですが…メイド服を着たダイワスカーレットが手をハートにしてる照れてる絵描いてほしいって入力して、これが出るのは強い…当方オタクでなくて単純に拡散生成モデルの新しいサービスに興味あるだけなのですが… pic.twitter.com/RRsSAnBKaa
— いりす (@irisuinwl) October 3, 2022
AIくんなるほどね #NovelAI #NovelAIDiffusion pic.twitter.com/RZVxVZZxhl
— 852話 (@8co28) October 3, 2022
#NovelAIDiffusion すごいな…別にオタクではなくて単純に技術に興味あるだけですが…メイド服を着たダイワスカーレットが手をハートにしてる照れてる絵描いてほしいって入力して、これが出るのは強い…当方オタクでなくて単純に拡散生成モデルの新しいサービスに興味あるだけなのですが… pic.twitter.com/RRsSAnBKaa
— いりす (@irisuinwl) October 3, 2022
特殊な検証も進んでいきます。
NovelAI→TalkingHeadAnime3 (Vtuberの始め方)
#NovelAI で出力した画像をTalkingHeadAnime3で動かした
— MAX@VRC (@akagi_max) October 3, 2022
たぶんこれが一番早い2DのVTuberの始め方だと思います pic.twitter.com/V8DvQChkRs
NovelAIで写真やラフをimg2img
I am extremely amazed at what #novelAI #NovelAIDiffusion can do 😮 pic.twitter.com/QkjUrRqfAu
— 🌸Mur Moruno🌸 (@murmoruno) October 3, 2022
AI凄いな pic.twitter.com/7W7852lyw2
— 𝙕𝙀𝙍𝙊𝙉𝙀𝙓𝙏 · ∞ （ゼロニクスト） (@SonZaiKanNai) October 3, 2022
NovelAIのimg2imgやってみた。
— にくまん@いぬと野鳥 (@29man_birds) October 3, 2022
すーげー
1→4の順で再生成繰り返し#NovelAIDiffusion #novelAI pic.twitter.com/OBaDhqnaW9
NovelAI 3Dモデルでポーズ指定
うおお３Dモデルでのポーズ指定完璧や#novelAI pic.twitter.com/Q2y7a5aGi1
— まっくす (@minux302) October 3, 2022
あとはキャラクターの同一性がなんとかなれば漫画作れそう pic.twitter.com/oWk1rswvqV
— まっくす (@minux302) October 3, 2022
表情差分の検証
まだ慣れたわけじゃないのでうまく使えてるかわからないけどimg2img使って表情差分とかやってみた#NovelAIDiffusion pic.twitter.com/IyTkaH35vz
— Plat 🖼️ (@p1atdev_art) October 3, 2022
NovelAIで漫画出力の検証
#NovelAIDiffusion #novelAI がリリースされました10
— 852話 (@8co28) October 3, 2022
無加筆無編集出力まま
白黒の漫画調の絵……っていうか もうこれは 『『『漫画』』』じゃん
助けて…… pic.twitter.com/MB7KJS257o
#NovelAIDiffusion #novelAI がリリースされました8
— 852話 (@8co28) October 3, 2022
無加筆無編集出力まま
白黒の漫画調の絵……
いや AI いや 待って欲しい いや…… pic.twitter.com/pCGqZhnbTF
#NovelAIDiffusion #novelAI がリリースされました7
— 852話 (@8co28) October 3, 2022
無加筆無編集出力まま
は？！？！？！？！？！？！？！？！？！？！？！？！？！？！？！？！？！？！？！？！？！？？！？！？！白黒漫画……え？！？！？！？！？？！あ？！？！？！？！？！？！？！？！？えっっっっっっっっっぐ これ うわ pic.twitter.com/3Av6i4dGWK
DreamBoothで線画に色付けする
ちょっと～dreamboothくん、凄いじゃん！
— ネコと和解せよ (@nekotowakaisita) October 3, 2022
タダの線画に色付けてくれるじゃん。君、賢くない？
1-2枚目：AIが色を塗ってくれた
3-4枚目：学習させた線画（mimicで使おうと思ってたやつ） pic.twitter.com/83GtLrNVTj
究極の初心者用、DreamBoothガイド（コードなし）
AIで着ぐるみをイラストにしてStableDiffusionの使い方を学ぼう！
DreamBoothでジブリスタイルをトレーニング
DreamBoothは顔やものを追加している方が多いですが、新しいトークンを追加するものなのでスタイルもいけるらしいです。この方は300枚のジブリ画像でDreamBoothをしています。
思想・ムーブメント
NovelAIのデータセットについて問題視の声
この日、NovelAIが無断転載サイトDanbooruの画像を学習していることに様々な声が上がりました。
今後色んな議論がされると思うが、多分その議論は価値観の対立以上のものを産まない(学習させることは合法で多分しばらく変わらない、無断転載サイトが学習元なのが嫌ならその無断転載サイトをまず訴えるべきだが海外転載サイトを一個人がどうこうするのは難しい)しこの過渡期、嫌な人は地獄だろうな
— 852話 (@8co28) October 3, 2022
なんで学習データにDanbooruがあんだよ。著作権はどうなってんだ著作権は。お前ら禁じられた無断転載画像を平気で使ってんじゃねえか。分かってんのか！？NovelAIが生まれたのは人間がAIに甘えたせいだろうが。金取んのかよ！？くそったれ！
— 海行プログラム (@kaigyoPG) October 2, 2022
・StableDiffusion…LAION 5B にDanbooruの画像URLがある
— 草 (@MutedGrass) October 3, 2022
・WaifuDiffusion…Danbooru 2021 データセット使用を明言
・NovelAI…Danbooru利用を明言。
・ミッドジャーニー…WaifuLabsとコラボしてSafebooru由来のデータを使う(予定)
つまりみんなDanbooru使ってるやん！ となります
フェアユースとして認められるのはオリジナルになり付加価値がついたものは立証できれば無許可、また非営利のモノは認められにくくなるが立証できれば商用利用が可能か
— まじかる☆しげぽん@VRoid (@m_sigepon) October 3, 2022
日本の著作権法にはない「フェアユース」とは。許諾不要? 公正なら問題ナシ? | https://t.co/AO1oDg170X https://t.co/QOGx4M0ZWa https://t.co/jz8CmXjLKw
NovelAIを提供してるのが、デラウェア州に拠点を置くAnlantanという企業でありNovelAIは米国デラウェア州の法律に準拠すると規約で書かれていたので、デラウェア州について調べていたのだが、Google、Amazon、Appleと大手テック企業が籍を置く法人に優遇措置を取っている州であるということが分かった
— まじかる☆しげぽん@VRoid (@m_sigepon) October 3, 2022
無断転載サイトでのAI学習問題、どう転がるか推移が気になる。
— 深津 貴之 / THE GUILD / note.com (@fladdict) October 3, 2022
場合によっては、Google検索（無断転載）、Twitter（無断転載）と全てを巻き込む気もする。
Novel AIは絶対に許せないという方は、Novel AIの画像を投稿している方ではなく、あるふさんのように、Novel AIに対してコメントされることをおすすめします。
— いかすみ (@k_ikasumipowder) October 3, 2022
日本語で意見を書いて、DeepLで翻訳して投稿で問題ありません！ https://t.co/BYELo5M2qP
いかすみさんが詳しくまとめられていたのでこちらをぜひ。
Novel AI 自体に違法性があるかというと、
— いかすみ (@k_ikasumipowder) October 3, 2022
- 学習は合法
- 画像を生成すること自体は、他者の権利を侵害すること以外にも、善意を持って汎用的に使える場合は合法と解釈されることも多いが、第三者の権利を侵害することが主目的の場合は違法と解釈されることもある
- 生成した画像が、既存のキャラクターの二次創作のようなものの場合、著作権法の翻案権が侵害される可能性があるので、違法の可能性がある
— いかすみ (@k_ikasumipowder) October 3, 2022
一方で、人間の二次創作も違法なことがほとんどなので、果たしてこの違法性の議論に意味があるかどうかは不明
その他にも準拠法がどことなるのか、実際に訴えたところで、似たようなサービスが出てくる、訴えたところで諦めてOSS化する可能性を考えると、果たしてNovelAIを止めるように動いたところで実効性があるのかは不明です。
— いかすみ (@k_ikasumipowder) October 3, 2022
Stabe Diffusionは著作権で保護されたデータ学習しているのに、Dance Diffusionは著作権フリーのデータ扱ってるの？、矛盾してない？Stability.aiという話。
勉強
拡散モデルの仕組み
最後に
Twitterに、毎日製作したものや、最新情報、検証を載せたりしています。
よかったら見ていただけると嬉しいです。
画像生成AIの実験, 最新情報のまとめはこちら
前回の号はこちら
次の号はこちら
サポートいただけると喜びます。本を読むのが好きなので、いただいたものはそこに使わせていただきます