日刊 画像生成AI (2022年11月9日)
ジェネレーティブAI界は、今とても早いスピードで進化し続けています。
そんな中、毎日時間なくて全然情報追えない..！って人のためにこのブログでは主に画像生成AIを中心として、業界変化、新表現、思考、問題、技術や、ジェネレーティブAI周りのニュースなど毎日あらゆるメディアを調べ、まとめています。
過去の投稿はこちら
開発
いきなりこの日のは楽しいのから..
Hagging Faceがお店をオープン！
Multilingual Stable Diffusion
50の異なる言語に対応したStableDiffusionが公開されたようです。
以下のリンクからデモページにアクセスできます。
My first "code" PR was merged!! Thanks @PatrickPlaten for the kind guidance.
— Juan Carlos Piñeros (@juancopi81) November 9, 2022
Diffusion Pipeline that supports prompts in 50 different languages.
Visit the @gradio demo and give it a try. Thanks @osanseviero and @huggingface for supporting the demo. https://t.co/0T8jNQR0iS pic.twitter.com/SrDTOHWEq3
NovelAI の教科書『元素同典 不完全科学の魔導書』
『元素法典』の中国コミュニティから、新しい #NovelAI の教科書『元素同典 不完全科学の魔導書』が公開されたらしいのでシェア。
— さいP (@_SA1P) November 9, 2022
とにかくボリュームが凄まじいです。呪文の基礎から、語順、構造、絵文字、『法典』の呪文の解説など盛りだくさん。かなりの発見がありそう。https://t.co/723Gp13rMz pic.twitter.com/KPfHjoUTXe
画像生成の仕組み、サンプラーの違いによる結果の差、絵文字の効果、プロンプトの公式など。
— さいP (@_SA1P) November 9, 2022
日本の魔法使い界隈にもかなり影響を及ぼしそう。
日本語翻訳記事、頑張って出します。#NovelAI pic.twitter.com/QycX4NXrWP
Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1
中国語と英語のバイリンガル。 20Mのフィルタリングされた中国語の画像とテキストのペアでトレーニングされたStable Diffusioon。
Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1, Chinese & English Bilingual Stable diffusion, trained on 20M filtered Chinese image-text pairs@huggingface model: https://t.co/u7GnA2AFCI pic.twitter.com/SjZ88KqFzn
— AK (@_akhaliq) November 9, 2022
StableDiffusion に対応したAI生成画像の判別システム
📢公開情報
— NABLAS株式会社 (@nablas_inc) November 9, 2022
最新の画像生成技術 #StableDiffusion に対応したAI生成画像の判別システムを開発しました！
実写真のような、人間が見ても判別が困難な画像も、フェイクか本物かを判別します👀
また、Novel AIなどが得意とするイラスト風の画像についても検出技術を開発中です！https://t.co/WwsyksN04s
ReAct: 言語モデルにおける推論と行動の相乗効果
Learn how ReAct, a general paradigm for synergizing reasoning and acting in language models, presents more interpretable, diagnosable, and controllable task-solving trajectories while outperforming reasoning and acting only paradigms. Read the blog → https://t.co/BZg2VzqBZk pic.twitter.com/WKfk02nMg3
— Google AI (@GoogleAI) November 8, 2022
NMKD SD GUIが1.7.1にアップデート
Windowsで使える有名なStable Diffusion実装の1つ、NMKD SD GUIが1.7.1にアップデート。主にVAEの選択、プロンプトのwildcard、より簡単なDreamBoothのトレーニング、他様々なアップデートが施されたようです。
ダウンロードはこちら
さらに詳細はこちら
DreamBooth Isometric modelが公開
アイソメトリックな風景を出力できるDreamBoothモデルが公開されました。
samdoesartsモデルが公開
Sam Yangさんのモデルが公開。現存のアーティストの方のモデルなので使用の際は独創性のあるものを作ること、あと厳重に注意して利用することが望まれると思います。他の概念を合成して創造的なものを作りましょう。
（って言ってもなんかモデル作るの作家さんから時間をかけて作ってきた独自の画風が大人数の方が複製できる環境が簡単にできてしまう訳で、この状態は現在の自分の感覚だととても良く思われないと思うので..、感覚とか考え方を何かしらの方法で全員アップデートするのか、作る側、使う側のルール作りが必要そう）
https://huggingface.co/artymcfly/samdoesarts/tree/main
James Webb Space Telescope モデルが公開
研究
DiffusersベースでStable Diffusionをfine tuningする
Stable Diffusionをfine tuningする記事を書きました。NovelAIの提案した学習手法へ対応し、また自動キャプショニング、自動タグ付け等についても記述しました。
— Kohya S. (@kohya_ss) November 9, 2022
DiffusersベースでStable Diffusionをfine tuningする｜Kohya S. @kohya_ss #note https://t.co/kDyliHohp8
Stable DIffusionのVAEの性能検証, メモ
なんかさんのSDのVAEの性能の実験。改めて64x64のこのクオリティからここまでできるのすごいなぁって思う
Stable DiffusionのVAEって単品だとどのぐらいの性能なんかなぁとふと思って試してみたらめちゃくちゃ強かった
— なんか (@_determina_) November 9, 2022
オリジナルと再構成後の差が普通に分からん pic.twitter.com/5jluZhpK0N
中段の画像がちゃんと可視化できてなかったみたいなので、念のため修正したものを載せておきます pic.twitter.com/N7LFibJCk8
— なんか (@_determina_) November 9, 2022
これやるためにDiffuserの中身見て、SDのVAEについて初めて知ったことが結構あったので、恥を忍んで白状します
— なんか (@_determina_) November 10, 2022
- VAEっていうから割と単純な構造かと思ったら、実際はResNetとAttentionが入っててかなり複雑
- 損失関数が再構成誤差とKLだけじゃない、やたらエグい
- 実はAEとしても使える https://t.co/1RuQ56nz9G
思想・ムーブメント
Microsoft、GitHub、OpenAIが訴訟されている問題について、弁護士に話聞いてみた
これは生成AI業界の今後が決まる大ニュース
— やまかず (@Yamkaz) November 10, 2022
マイクロソフト、GitHub、OpenAIの3社が、AIでオープンソース コードを複製することで著作権法に違反したとして集団訴訟されてる。これはその弁護士に話を聞いた記録https://t.co/MEjSnFlb1O
「AIシステムは、法律から免除される魔法のブラック ボックスではありません。」だったり、Napsterは違法だったけど、すべての利害関係者がテーブルに集まることで、SpotifyやiTunesは機能したという話がされてる
— やまかず (@Yamkaz) November 10, 2022
AI が人間の知性を複製するものだと想像することは、想像力を制限することです。
To imagine AI as replicating human intelligence is to limit your imagination.
— Kevin Fischer (@KevinAFischer) November 9, 2022
Here's a blog post on one of my deepest and most meaningful interactions with @AIMindFlow.https://t.co/7T4sswhuwe
Runwayのインハウス クリエイティブ チームの創設メンバーインタビュー
Ever wondered who’s behind Runway’s magic videos? Meet @outfoxcreative_ & @notiansans, founding members of Runway’s in-house creative team.
— Runway (@runwayml) November 9, 2022
Learn how AI advancements are making an inevitable mark on their creative processes for good.
Read the interview: https://t.co/qEdF75Lo6G
私のロボットの妻。人間とAIの関係の未来
NovelAIの注目度が日本がトップに
NovelAI、10月分が見られるようになったので、検索数とは違うかんじ。やっぱり日本さん。https://t.co/EIF9nlfU3cのトラフィック分析と市場シェア | シミラーウェブhttps://t.co/pK2zr2f39z pic.twitter.com/zZRQ7fjgPH
— ぴぽ (@pipohi) November 9, 2022
RLHFによるモード崩壊の謎
（RLHFとは、人間のフィードバックを反映させた強化学習のことです）
CarperがSDをRLHFでfine-tuningしているから、リサーチアシスタントを募集してる
Interested in the future of generative art? Want to help make it more personalizable? We at Carper are ramping up to work on using RLHF to finetune an instruct style Stable Diffusion model. To this end, we're looking for some research assistants! 1/2
— Carper (@carperai) November 8, 2022
音楽の生成がどれだけ困難か人々は過小評価している
データがそもそも不足しており、やるには既存のプラットフォームから海賊版データを作らなければならないが、それをやり始めると多くの人や法務の方々がやってきてしまう点。また、画像とテキストはオープンソース界隈が主導だけど、音楽に関してはまだアカデミアのものであるなどが書かれてる
"where's midjourney/DALL-E/GPT3 for music????"
— cherie hu (@cheriehu42) November 8, 2022
it's coming, for sure (we're dedicating a whole season to it at @water_and_music). but i think ppl are underestimating how much more of an uphill battle it's going to be for music to get its "midjourney moment."
a short 🧵on why...
勉強
AssemblyAIのAI用語解説一覧
Here are 10 common AI terms explained in an easily understandable way.
— AssemblyAI (@AssemblyAI) November 8, 2022
1. Classification
2. Regression
3. Underfitting
4. Overfitting
5. Cost function
6. Loss function
7. Validation data
8. Neural Network
9. Parameter
10. Hyperparameter
AI Thread🧵👇
AI thread part 2
— AssemblyAI (@AssemblyAI) November 9, 2022
Below are 7 more AI terms explained in an easily understandable way. This time with a focus on Deep Learning terms:
11. Generative Models
12. Reinforcement Learning
13. Large Language Models
14. Transformers
15. Transfer learning
16. Accelerators
17. GPUs
🧵👇 https://t.co/PkG28GNXuL
最後に
Twitterに、毎日製作したものや、最新情報、検証を載せたりしています。
よかったら見ていただけたら嬉しいです。
画像生成AIの実験, 最新情報のまとめはこちら
過去の号はこちら
次の号はこちら
サポートいただけると喜びます。本を読むのが好きなので、いただいたものはそこに使わせていただきます