![見出し画像](https://assets.st-note.com/production/uploads/images/93111686/rectangle_large_type_2_8a674b9d4036f4bbbce1391c30878ff3.png?width=1200)
日刊 画像生成AI (2022年11月26-27日)
ジェネレーティブAI界は、今とても早いスピードで進化し続けています。
そんな中、毎日時間なくて全然情報追えない..!って人のためにこのブログでは主に画像生成AIを中心として、業界変化、新表現、思考、問題、技術や、ジェネレーティブAI周りのニュースなど毎日あらゆるメディアを調べ、まとめています。
![](https://assets.st-note.com/img/1670770914814-ezpKNjg9T5.png?width=1200)
過去の投稿はこちら
ピックアップニュース
AI画像コンテスト終了!😆
🎉結果発表🎉
— AI画像コンテスト実行委員会 / 集計&展示会準備中 (@AI_contest) November 27, 2022
ついに!#AI画像コンテスト の結果発表を行います!
ただ今、21:00 から、YouTube & Discordのステージ上で配信します!
ワールドカップを見ていた方も奮ってご参加下さい!
👇YouTubeライブhttps://t.co/fhRQU9RyoU
👇Discordサーバーhttps://t.co/BdYA8fKmCs
2, 5位の方の投稿見つからなかったですが、上のYoutubeリンクで見れます!
AI画像コンテストメイン部門最優秀賞いただきました😭
— シトラス🍋 (@AI_Illust_000) November 27, 2022
本当に嬉しいです、評価をつけてくださったみなさんありがとうございます😭
3位入賞しました!皆様方本当にありがとうございます!😭 https://t.co/ZgiMZqfCRs
— まっちゃ (@maccha3gooo) November 27, 2022
この度、5位という身に余る賞を頂戴し、誠に光栄に存じます😭
— あいばのうさぎ (@aibanousagi) November 27, 2022
これは私の実力ではなく、AIの技術と皆様からのお力添え、ご厚意の賜物だと思っております。
心より感謝申し上げます🙇♀️
AIを悪く言う人もいますが、少なくとも私はAIと皆様に救われています。これからもできる事を自直に頑張ります🙇♀️🙇♂️🙇 https://t.co/7PzvVtaOS7
CarperAIがOpenELMを発表!
CarperAI, StabilityAIによるOpenELMが発表されました!
Today we’re excited to announce the release of OpenELM, an open-source library combining LLMs with evolutionary algorithms for code synthesis. https://t.co/rb43Bqq385
— Carper @ NeurIPS (@carperai) November 25, 2022
Thanks to @herbiebradley, @joelbot3000, @HongluFan, @MathyouF, @exGenesis, @Harry_stark_, et al (1/4)
うみゆきさん、bioshokさんが解説してくださっていたのでメモです
このノリで画像生成AIもYoutubeのお絵描き動画やpsdファイル分析して同じようなことができそう。そしたらもっと創造的なものが出せそう
CarperAIがOpenELMを発表!これが何かというと、LLMを進化的アルゴリズム(多分遺伝的アルゴリズムと同じ)で微調整するためのライブラリ!例えばコード生成AIに使える。何が嬉しいのか?というと、今までLLMでのコード生成は学習したコードと同じようなコードしか生成できない問題があったが、 →RT
— うみゆき@AI研究 (@umiyuki_ai) November 26, 2022
これすごい!!
— bioshok(INFJ) (@bioshok3) November 27, 2022
今年6月のOpenAI論文で今日Carperがオープンソースにして知ったんだけど、遺伝的アルゴリズム+大規模言語モデルの新たなパラダイム(ELM)提案。これ何が凄いって、大規模言語モデルは学習したことしか基本アウトプットできないが、新規領域を探索してコードを自己改善できること! https://t.co/cFbY6jzml9
Emadさんの投稿
Great work by the @carperai lab @StabilityAI releasing our OpenELM model for code generation combining evolutionary algorithms with large language models.
— Emad (@EMostaque) November 26, 2022
This is a contribution towards the development of open-ended systems that can adapt and build solutions to dynamic problems https://t.co/9aKo92vObR
10年後、世界はSFになる<AIエージェント(一般化知能)の実現> 〜汎用人工知能の前に訪れる「AIエージェント(一般化知能)」の実現まで〜
bioshokさんが登壇されてます、ぜひ!
開発
AUTOMATIC1111にSD 2.0が対応!!
![](https://assets.st-note.com/img/1669572020828-I2E470jiNG.png?width=1200)
Stable Diffusion 2.0 と互換性のある UI のリスト
あとからあげさんのノートブックはこちら。
Google Colabで動くStable DiffusionのGUIツール。Stable Diffusion 2.0版のノートブック作成しました。
— からあげ (@karaage0703) November 26, 2022
2.0からHugging Faceのログイン不要になったので、クリック一発でセットアップできてめちゃ簡単に使えます!https://t.co/2K5oZ0a3Rb
DiffuserがSD 2.0に対応!
🧨Diffusers supports Stable Diffusion 2 !
— Hugging Face (@huggingface) November 25, 2022
Run @StabilityAI's Stable Diffusion 2 with zero changes to your code using your familiar diffusers API.
Everything is supported: attention optimizations, fp16, img2image, swappable schedulers, and more🤗 pic.twitter.com/7cZXNbMeA0
Emad氏がなぜNSFWを削除したのかという話
![](https://assets.st-note.com/img/1670764997068-IlwhEZh2FY.png?width=1200)
If we release a model that is photorealistic and can do nsfw and children it is bad and not the right thing to do.
フォトリアルでnsfwと子供ができるモデルをリリースすると、それは悪いことであり、正しいことではありません
Destroy the child and leave the nsfw.
子供を削除し、nsfwを残してください
No
これは適したものではありません。
The model cannot be used in schools or similar settings then.
このモデルは学校や同様の設定では使用できません。
Deforumで複雑なネストされた数学関数を使用できる「FrameSync」
![](https://assets.st-note.com/img/1669567178463-oGqBX6UN8z.png?width=1200)
DreamBooth Training Guide (SD2.0対応) + SD2.0 fine-tuning Guide
SD2.0で適当にdreamboothしてみました。素晴らしい吸収力です。
— Izumi Satoshi (@izumisatoshi05) November 26, 2022
私はもう手のひらを裏返しました。バニラSD単体での精度など誰が気に掛けるというのでしょうか。ベースモデルは追加学習に対する柔軟性で評価されるべきです。
num instance: 30
instance prompt: zwx girl
class prompt: girl pic.twitter.com/kcHy0as7q0
こちらもどうぞ
Elysium_V2が公開
(前からあったものだったらごめんなさい)
これ僕認知していなかったんですが、Elysium_V2たるものがあるようです。
Elysium というリアル系のモデルをイラスト向けにファインチューンしたものらしいhttps://t.co/uXgeN3EoCf
— Plat 🖼️ (@p1atdev_art) November 27, 2022
interesting results Elysium 2 looks close to Anything v3 #stablediffusion #StableDiffusion2 pic.twitter.com/Dxf7Qx9MX0
— The_Real_Black (@TheRealBlackNet) November 27, 2022
【新モデルElysium-Modelのテスト】
— Yanagichan/やなぎ (@Yanagichan3) November 27, 2022
SDをアニメ風にチューンしたオリジナルモデルみたいです
かなり雑にプロンプト書いてもいい画像を出してくれる印象
そのへんの野良モデルでもかなりクオリティ高くなってきた…
モデルの選択肢が増えてきて、今後AI絵師の個性は使うモデルにも宿ってきそう pic.twitter.com/e14Kh5Hg0a
new ViT-H powered CLIP Interrogator
画像から優れたプロンプトを生成できるCLIP Interrogatorが、ViT-H-14 OpenCLIPモデルを使用して Stable Diffusion 2.0 で使用する用のプロンプトを出せるようになりました
#stablediffusion2 uses the OpenCLIP ViT-H model trained on the LAION dataset so it knows different things than the OpenAI ViT-L we're all used to prompting. To help out with your #SD2 prompts here's a new ViT-H powered CLIP Interrogator!https://t.co/65Oo9u5fjy#aiartcommunity pic.twitter.com/GHvXIGCdTx
— pharmapsychotic (@pharmapsychotic) November 25, 2022
Huggingfaceでも公開。
Distributed Diffusionが公開 (分散型トレーニング)
まだアルファ版で、セキュリティ、攻撃の問題が解決できていないとのことだけど、これで分散してトレーニングができるらしい。Stable Hordeみたいなのがこれを使って沢山現れるかもしれない。Minecraftのサーバーみたいにいっぱい立ち上がってるみたいな。これで巨大なAI企業に対抗できたりしないかな
![](https://assets.st-note.com/img/1669567741476-LUiHTUMgr9.png?width=1200)
Caricaturizer V1モデルが公開
プロンプトに「pcrc style」を利用することで使えます。
![](https://assets.st-note.com/img/1669567258930-UzaOlohYvH.png)
![](https://assets.st-note.com/img/1669567266945-nnshGqG6PC.png)
Inkpunk Diffusion v1が公開
![](https://assets.st-note.com/img/1670767453302-uw7vIjCfaY.png?width=1200)
![](https://assets.st-note.com/img/1670767459516-4Bi2ZNc68E.png?width=1200)
Voxel-ish Image Packモデル v.1.2が公開
![](https://assets.st-note.com/img/1670767469261-KYrP8GyzoR.png?width=1200)
![](https://assets.st-note.com/img/1670767475021-A6MjBAFjIg.png?width=1200)
Waifu Art AI - Local Generatorが公開(iPhone, iPad, Mac対応)
![](https://assets.st-note.com/img/1669567552670-A8uOwIOySt.png?width=1200)
![](https://assets.st-note.com/img/1669567580350-2PSVmpkxdA.png?width=1200)
Pix2Seqのコード、チェックポイント、colabが公開
画像認識するフレームワークのPix2Seqのコードやチェックポイント、colabが公開されたようです。
📢 Code, checkpoints and a colab for multitask (object detection, semantic segmentation, keypoint detection and captioning) Pix2Seq are now available!https://t.co/kCr2wa9InRhttps://t.co/zsrbvhDlpGhttps://t.co/KOCMrODMdz pic.twitter.com/5TvMOk6A1x
— Saurabh Saxena (@srbhsxn) November 25, 2022
ここから画像生成AIから離れて、他のAIの動向のメモ
GPT-3で法務文書を書き換える
Using GPT-3 to explain and rewrite sections of a contract based on your instructions! pic.twitter.com/OSxvC9Xnhw
— Scott Stevenson (@scottastevenson) November 26, 2022
人間と同じようにWebサイトを読み取るGPT-3サマライザー
Made a GPT-3 summarizer that reads websites just like humans do.
— Daniel Gross (@danielgross) November 26, 2022
It scrolls pages and reads in visible text in chunks, which it then attempts to summarize.
This makes it a bit more robust than crawling HTML. Here you can see it summarizing fancy hotels on Flyertalk: pic.twitter.com/P5nOvVHGSC
自分の幼い頃の日記を覚えたGPT-3(つまり自分)と対話する
i trained an ai chatbot on my childhood journal entries - so that i could engage in real-time dialogue with my "inner child"
— michelle huang (@michellehuang42) November 27, 2022
some reflections below:
NeurIPS 2022でのDeepMindの最新研究発表
NeurIPS 2022カンファレンスで、35の外部コラボレーションを含む47の論文を発表。大規模モデル、強化学習、およびアルゴリズム構成の進歩など。透明性、倫理性、公正性を備えたAIシステムの開発に取り組まれているようです。
SegCLR
脳組織の細胞アノテーション作業を自動化するために開発された、Google AIのSegCLRと呼ばれる新しい機械学習技術。「SegCLR」は拡張性があり、非常に短い断片からでも細胞へのアノテーションを行うことができる。
Teslaが完全自動運転 β版を解放
Teslaが完全自動運転 β版を解放
— やまかず (@Yamkaz) November 26, 2022
徐々に解放されてたこの機能は北米ユーザーは車の画面からリクエストすれば誰でも利用できるようになったらしい(15000ドル買切or月額199ドル)https://t.co/ViiTPMSySIhttps://t.co/qVwa9nKxTe pic.twitter.com/Z3vRpirF9K
会話にリアルタイムで字幕をつけ、翻訳してくれるメガネ
表現, 研究
SD 1.5で出力。6000 x 4000に超解像しました。
![](https://assets.st-note.com/img/1669567378669-GEmx87fGjc.png?width=1200)
Stable Diffusion 2生出力事例
EmadさんはSD2.0はfine-tuningをすることで本領を発揮し、DALL-E2やMidjounrneyを超えると話していたので今後の動向が楽しみ。
ただ、リアルな出力はSD2.0単体でもかなりクオリティが高いようです。
Some raw output from #StableDiffusion2
— Emad (@EMostaque) November 26, 2022
Like actually try it folks, it's only going to get better from here, each of these was generated in a couple of seconds.
We will release some optimised settings soon. 🚀✨ pic.twitter.com/GIMbEAXZmb
Yes, you need to work for it with #StableDiffusion2 but you can get an incredible level of detail.
— TomLikesRobots (@TomLikesRobots) November 26, 2022
This is a raw output at 768x768. No upscaling or facial restoration.
I can imagine this getting insanely good with a bit of tweaking/finetuning. #AIart https://t.co/BbK7UKhoZL pic.twitter.com/vdV7u54qWj
Stable Diffusionで映像のフレーム予測
電車からのいくつかのビデオの現在のフレームから次のフレームを予測するようにモデルをトレーニングしたSDモデルで作れられた映像。
Next frame prediction with #StableDiffusion is almost too good. Need to add some more knobs and dials I think. pic.twitter.com/HkSuRnE2et
— Justin Pinkney (@Buntworthy) November 25, 2022
Xiaomiが商品告知にStable Diffusion活用
Time flies, and some things last.
— Xiaomi (@Xiaomi) November 26, 2022
At Xiaomi, this is the goal we wish to achieve with our products. #GiveItTime
The limited pre-orders of #Xiaomi12TPro #DanielArshamEdition starts on December 5th. Check for details below!
ポーズメーカーソフトMagic Poster→SD2.0 Depth-to-image
Magic Poser + Stable Diffusion 2.0’s Depth-to-Image
— hardmaru (@hardmaru) November 26, 2022
A blog post detailing the workflow of combining a pose maker software with Stable Diffusion 2.0’s Depth-to-Image model to have full control over the generated image.#StableDiffusion #StableDiffusion2https://t.co/VjtRZIfaBL pic.twitter.com/MGzG9cLJhW
NovelAIで三原色操作
以下のネガティブプロンプトで色合いを操作できるようです。なるほど
{{{{{green}}}}}, blue, {{{{{red}}}}},
#AIイラスト #AIart #NovelAI
— ぷー (@POO_JP) November 26, 2022
カラーバランスを変える!
AI先生は絵を描く時、裏側で色の三原色を管理しているようなのです
この三原色をネガティブに登録することで特定の色みだけを強調することができます
カラーバランスを変えたい時に使ってみてはどうでしょうか!
使い方はALTにあります pic.twitter.com/F6WRTWdFxM
流行りはnijijourney!
NovelAIよりnijijourney、anything v3あたりの投稿が多く見られるようになってきました。
芸術点が高い #nijijourney pic.twitter.com/5Mf9gvidFP
— 竹紙やにこ (@yaniko_takekami) November 27, 2022
AIイラストで作る存在しない戦争アニメ(2013年放送)。#nijijourney #AIart #AIイラスト pic.twitter.com/pRGohtwE9z
— ポラン@ゆっくり実況🐕24万人 (@polan9009) November 26, 2022
雷電将軍 #RaidenShogun #原神#AI #nijijourney pic.twitter.com/6Hm9ogYrrT
— Asaki (@Morning_wood17) November 26, 2022
にじジャーニー、明らかにNovelAIと傾向が違うのと脈略なくハイクオリティのが出るのでビビる#nijijourney pic.twitter.com/DFXN1D7LEL
— 那須音トウ | NASUNE Tou (@imenurok) November 25, 2022
AIの背景が好き pic.twitter.com/sBXTD6aNHO
— 852話 (@8co28) November 27, 2022
AI t2i 無編集#nijijourney の作る背景画が良すぎる pic.twitter.com/AB0nAFSG98
— 852話 (@8co28) November 26, 2022
Chhaviは、Zaha Hadid Architectsのデザインプロセスにおいて、DALL-E 2とMidJourneyの両方を使用して実験を行っている
![](https://assets.st-note.com/img/1669567940057-KXKkqVmN0T.png?width=1200)
Chhaviは、Zaha Hadid Architectsのデザインプロセスにおいて、DALL-E 2とMidJourneyの両方を使用して実験を行っていると伝えています。特にDALL.E 2は、現在進行中のメタバースプロジェクトの設計にも使用されています」と詳しく説明します。MidJourneyのようなAIツールの流動的な性質と、データベースや学習データに含まれる多数のザハ・ハディドの画像の存在により、この事務所の作品の特徴的な美学と空間的なアイデンティティを反映した画像を生成することができ、私たちにとって望ましいツールだと思います "と述べています。
マウスの視点「Mouse Pov」 (プロンプト)
![](https://assets.st-note.com/img/1669568132629-T1I1khcFYU.png)
研究、
最近話題になったAIエージェントの強化学習環境のまとめ
あと布留川さんが共有していたMineDojoの動画。めっちゃわかりやすいです
なんかAIエージェントの事例見てると直感的に焦りを感じる。
【ゆっくり解説】AIがマイクラをプレイするようです【MINEDOJO/VPT】 https://t.co/sDvrL0GmlH @YouTubeより
— 布留川英一 / Hidekazu Furukawa (@npaka123) November 27, 2022
Human or Machine? Turing Tests for Vision and Language
AIか人間か?6つの視覚・言語タスクにおけるチューリングテストを実施(色推定、物体検出、注意予測、画像キャプション付け、語の連想、短い対話)。今回のテストに合格するのは近く、さらにAI判定士は人間の判定士よりも良い仕事をした。人には区別が付かなくなってきてるhttps://t.co/ORwpLZmLYr pic.twitter.com/vP5fPfeqt1
— 小猫遊りょう(たかにゃし・りょう) (@jaguring1) November 26, 2022
DiffusersベースのDreamBooth(SD2.0対応、Windows対応、必要VRAM 12GB~)
v11へ更新しSD2.0(baseおよび768/v parameterization)に対応しました。独自対応のため不具合等あればご連絡ください。
— Kohya S. (@kohya_ss) November 27, 2022
またキャプションの扱い変更、機能追加、バグ修正を行っています。
DiffusersベースのDreamBooth(SD2.0対応、Windows対応、必要VRAM 12GB~) #note https://t.co/mJYUruTpdz
AIの汎化を理解するための軽量なシミュレーション環境「Powderworld」
Powderworld is a lightweight simulation environment for understanding AI generalization, supporting:
— Kevin Frans @ neurips (@kvfrans) November 26, 2022
- modular & emergent ruleset
- expressive RL task space
- 10k timesteps/sec via GPU
Paper: https://t.co/i18Dwa5Lzv
Blog + Online Demo: https://t.co/oKuB3MIzdg pic.twitter.com/nJyLC931Ve
思想・ムーブメント
私たちは、クリエイティブなソフトウェアの地殻変動の真っ只中にいます。
We are in the midst of a tectonic change in creative software.
— Cristóbal Valenzuela (@c_valenzuelab) November 26, 2022
AI will forever change how we tell stories.
There are a few things I like to keep in mind to navigate what’s coming.
いずれ、私たちがサードパーティのウェブサイトに作品を掲載するのと同様に、圧倒的多数がオプトインを選択するでしょう
アーティストも要チェック @spawning_ (学習禁止か学習OKか報告できるサイト)をご覧ください。今後のデータセットのためのアーティストのオプトインとオプトアウトに関する作業をチェックしてください。
何千人もの登録者がいるため、どちらかの方向に50:50の割合で進んでいます。いずれ、私たちがサードパーティのウェブサイトに作品を掲載するのと同様に、圧倒的多数がオプトインを選択するでしょう
Artists should check out @spawning_ and the work they are doing on artist opt-in and opt-out for upcoming datasets
— Emad (@EMostaque) November 26, 2022
With thousands signed up it’s about 50:50 in either direction, in time the overwhelming majority will choose to opt-in just as we put our work on 3rd party websites https://t.co/sJOtJydp2w
うみゆきさんの補足
Emad氏が云わんとする事を勝手に補完させてもらうなら、将来的にアーティストがみんな作品制作にAIを使うようになると、AIが自分の作品を知らない事は不便でしか無いから、むしろ学習させてくれってお願いするようになるはずだ…みたいな話かもしれない
— うみゆき@AI研究 (@umiyuki_ai) November 27, 2022
AIアート作成行為の最も優れた点
AI アートを作成することの最も優れた点は、さまざまなスタイルのアートについて学ばなければならないことです。今ほど美術史について勉強したことはありません。
The coolest thing about creating AI art is that it forces you to learn about the different styles of art. I've never studied more about art history than now.
— NOODIE (@TheNoodiesNFT) November 26, 2022
AI アートはクリエイターを排除するものではありません — クリエイティビティの新時代の引き金となります
基本的にこういう記事とかAI系企業の代表の人とかはほぼ全てクリエイターを排除するものじゃなく支援するものという意見しか載ってない感覚。
Creative Technology Digest: 🧠 AI art won’t eliminate creators — it’ll trigger a new era of creativity 🎨 https://t.co/9pT9Q5jsE5
— Bilawal "Billyfx" Sidhu (@bilawalsidhu) November 26, 2022
機械学習にも独自のムーアの法則がある
ダニー・ラング氏(ユニティ・テクノロジーズ、人工知能担当SVP)の講演
以下重要な部分だけ文字起こし(DeepL翻訳)
機械学習には独自の法則があり、18カ月ごとに学習データが2倍になるようです。そして、モデルもどんどん大きくなっています。つまり、基本的にデータが足りなくなってきているのです。そこで、AI開発のブロックを解除するために十分な学習データを作成するための鍵になるのが合成データです。ゲームエンジンを見てみると、1秒間に30フレーム、60フレームの人向けに作られています。シミュレーションを使えば、それを高速化することができます。1秒間に30フレームで1年間の人生を考えたら、10億フレームになります。そう、10億フレームを簡単に生成できるんです。加速度的に。
sabakichiさんの画像生成AIを批判する人へのコメント
「過去のアーティストが積み重ねてきた努力をタダで利用している」という意見は納得感があるが、しかし自分も含めて古今東西あらゆるアーティストは「過去のアーティストが積み重ねてきた努力をタダで利用している」存在なので、人生を賭して向き合っている人ほどこの構造の難しさをよく理解していそう
— sabakichi|Domain (@knshtyk) November 25, 2022
画像生成AIを用いたコンテンツに暴言がぶら下がっているのをよく見かける。技術への誤解が最初に広まってしまった影響は大きい。コラージュだと思っている人が今でもいて、文化へのフリーライドを糾弾しつつGoogleやAdobeのAIから自分も利益を享受していることに無自覚だったり。急峻すぎる変化の功罪
— sabakichi|Domain (@knshtyk) November 25, 2022
Generative AIとNFTの融合についてJasper.aiが「考える」こと
勉強
What are Diffusion Models?
最後に
Twitterに、毎日製作したものや、最新情報、検証を載せたりしています。
よかったら見ていただけたら嬉しいです。
画像生成AIの実験, 最新情報のまとめはこちら
過去の号はこちら
サポートいただけると喜びます。本を読むのが好きなので、いただいたものはそこに使わせていただきます