![見出し画像](https://assets.st-note.com/production/uploads/images/92081938/rectangle_large_type_2_1cdcb1212260f41e2f05c75162c3aa53.jpeg?width=1200)
芸術系AIアーカイブ(2022年12月31日~2022年9月30日)
はじめに
芸術AIの進化が速い。芸術系AIの出力を人間が評価し、出来の良いものをネットに上げ、それをAIが学習するという好循環が生まれています
文章→画像→3D→動画、文章→音声 のAIを組み合わせることでストーリー動画を作成できます
学習データを元に作成するAIは「どこかで見聞きした絵柄、ストーリー、音楽」しか作成できない限界があります
米国では売れ筋の映画を参考にAIが映画のシナリオを作成するので「ヒット確実だが似たようなストーリーの映画」が大量生産されて問題になっていると聞いたことがあります
こちらは、今話題のChatGPTメイン
芸術系AIリンク
phenaki(Text-to Video)
HoloraAI(Text-to-animecharacter)
AI絵を修正する
芸術系AI注目情報
#StableDiffusionV2 .1(絵画作成)
2022年12月31日
UIデザインを生成するために微調整されたStableDiffusion v2.1用Embedding β版が公開https://t.co/JWlk5yQmrs pic.twitter.com/oJgM80N6ul
— やまかず (@Yamkaz) December 29, 2022
#8528diffusion (絵画作成)
2022年12月31日
AIが「突然の土砂降りで服がぐっしょり濡れてしまった時たまたま僕の家の前だったのですごく恥ずかしいながらもTシャツを貸して欲しいと頼みに来たクラスメイトのおとなしい女の子」みたいな絵出してくれたので強い pic.twitter.com/Ltlr3Jz3Kh
— 852話 (@8co28) December 30, 2022
#8528diffusion (絵画作成)
2022年12月30日
#ChatGPT (映画)
2022年12月28日
ChatGPTが歴史を作る: AIとして初めて映画の脚本と監督を担当https://t.co/9OO3SxMclL
— やまかず (@Yamkaz) December 27, 2022
#MusicEngine (音楽)
2022年12月28日
【お知らせ】MusicEngineのドキュメントを書きました!Unity単体で音楽同期演出やらインタラクティブミュージックができます。Githubから落としてきてご自由にご活用ください。何度もリクエスト頂いていたのに遅くなってすみません!https://t.co/WYMJNfK1sZ
— じーくどらむす/岩本翔 (@geekdrums) December 27, 2022
例として動画のようなことができます。 pic.twitter.com/Nzcmc6JPzO
#Shoost (動画)
2022年12月28日
Shoost が歌配信でよく使われているようなので、自動カメラ切り替えを作ってみた。なかなか良さそうなので実装できるように調整してみる。 pic.twitter.com/jCg3RNEZNB
— MuRo (@MuRo_CG) December 28, 2022
#UnityLibrary (音源)
2022年12月26日
ヤマハがUnity向けに立体音響ライブラリを提供。
— Masa Seiki (@mas_sk) December 23, 2022
立体音響には反射とか遮蔽とかドップラー効果とか色々ありますが、今回は定位に特化したエンジンとのこと。
パーソナライズのない平均的な頭部伝達関数でもしっかり定位が出ると自信をお持ちでした。問い合わせで評価版も。https://t.co/q8CmECmeM2
#breadboard (生成画像の一括管理)
2022年12月26日
マシン上(Mac、Windows、Linux)のすべてのStable Diffusionでの生成画像を1か所で参照、検索、管理できる「breadboard」が公開https://t.co/6roXjJ5Ilw pic.twitter.com/pR9wHey87H
— やまかず (@Yamkaz) December 23, 2022
#音楽生成AIの2年
2022年12月26日
【プレイバック2022】AI歌声合成が歌手を超えた'22年。「Synthesizer V」の進化に驚愕した by 藤本健-AV Watch https://t.co/5w1jXj8joK #ロボット業界ニュース
— ロボットスタート(ロボスタ) (@robotstart) December 25, 2022
#blender (フィギュア作成)
2022年12月25日
AI出力絵(3枚目)のdepth(深度)を求めて
— 852話 (@8co28) December 25, 2022
blenderで技術3D化(2枚目の動画)して
その後データを調整して3Dのフルカラー印刷で実際にフィギュア具現化(1枚目)しました
5cmくらい pic.twitter.com/6GZKFVaGEH
#852v0 .4(絵画作成)
2022年12月25日
v0.4で使用した1.1万枚のhttps://t.co/kFo85GjNcb
— 852話 (@8co28) December 25, 2022
学習データセット(AI出力絵)を追記しました。
追加学習画像のgoogleドライブ→noteで公開ですが、ver0.4から1万枚を超えたので容量が大きく現実的でなくなっているので
次回からは生データではなく50%程度縮小をかけたデータを公開します。
#PhotoshopAdon (絵画作成)
2022年12月23日
Stable Diffusionが使えるPhotoshopプラグインがなんと無料でオープンソースに!https://t.co/FaOS0YB9OV
— やまかず (@Yamkaz) December 21, 2022
カスタムモデルの利用から、画像の生成、インペインティング、アウトペインティング、画像のバリエーションまであらゆる機能が搭載 pic.twitter.com/4VX1D2fyUy
#ChatGPT +Midjourney(絵画作成)
2022年12月22日
ChatGPTとMidjourneyで素晴らしい画像を作成する
— やまかず (@Yamkaz) December 22, 2022
How to generate the perfect imageshttps://t.co/cXdc7OruHU
#個人学習 (絵画作成)
2022年12月22日
AIに僕の絵柄を教えてみました。クラウドGPUを借りて150枚の参考絵を使って6時間習わせてみました。結果はこうなりました↓ pic.twitter.com/Vi9pCuG78b
— ピナケス (@PinaxPinakes) December 21, 2022
#Kario1 .0(AI絵画作成)
2022年12月22日
韓国のAI開発組織「カカオブレイン」が画像生成AI「Karlo 1.0」を公開。DALL-E2ベースのモデルで、約1億1500万枚の画像とテキストの組で学習
— 小猫遊りょう(たかにゃし・りょう) (@jaguring1) December 21, 2022
CEO(最高経営責任者)「AIエコシステムの発展を加速させるために、世界トップレベルのAIをオープンソースで公開し続けます」https://t.co/Q30vQDGpv4 pic.twitter.com/2uk4TBOge0
#Point -E(AI絵画作成)
2022年12月22日
OpenAIから新たに「入力テキストに従って3Dモデルを作成するPoint-E」が発表
— 小川雄太郎 (@ogawa_yutaro_22) December 21, 2022
点群で3次元オブジェクトを作ってからメッシュを貼る。特徴はその速さ
日本語の良い解説記事https://t.co/Bs9PRWkMCm
huggingfaceで試せます(皆試していてBusy)https://t.co/lbORJKrhp2
以下私の手元で動かした様子 pic.twitter.com/nJSQh4HvnH
#Colab (AI絵画作成)
2022年12月22日
https://t.co/CJqXAJoa7E
— teftef (@hanyingcl) December 22, 2022
↑Colab で動かすStable Diffusion (Fintuning Model Ver 1.0)
個人がファインチューニングしたその方々独自のモデルが試せます
モデル提供いただいた方@8co28
様@nikaidomasaki
様@p1atdev_art
様
ありがとうございます#stablediffusion #WaifuDiffusion #AIart pic.twitter.com/g2UYJueC1c
#8528Diffusionv0 .4(AI絵画作成)
2022年12月22日
ファインチューニングについての大まかな説明とファインチューニングで独自のモデルを作ってみたい方はこちらからhttps://t.co/ijc0MfAfwX
— teftef (@hanyingcl) December 22, 2022
#8528Diffusionv0 .4(スマホでAI絵画作成)
2022年12月22日
スマホからも試せる8528 diffusion v0.4のデモを公開しました(時間帯により生成時間にかなりの開きがあります)
— 852話 (@8co28) December 21, 2022
シード固定、正方形、ポジティブプロンプトを入れるだけの簡単なデモです。https://t.co/8LF7u392Yv
#8528d pic.twitter.com/C5LBLmBATv
#CustumDiffusion
2022年12月21日
The @Gradio Demo for Custom Diffusion: Multi-Concept Customization of Text-to-Image Diffusion is out on @huggingface Spaces
— AK (@_akhaliq) December 19, 2022
demo: https://t.co/hg55A3YCE0 pic.twitter.com/iSr7Vuba2b
#StableDiffusion (まとめ)
2022年12月21日
画像生成AIアドベントカレンダー 19日目、書きました!#StableDiffusion を応用して作った自分のVRChatアバターについて、興味範囲であるVRとAIの両方入り記事です。 https://t.co/CgIRTLU8Ae
— Kenji Iguchi (@needle) December 19, 2022
#AIいらすとや(絵画生成)
2022年12月21日
いらすとや風のイラストを生成する「AIいらすとや」をリリース|AI Picasso株式会社のプレスリリース https://t.co/SimilCAlZN #ロボット業界ニュース
— ロボットスタート(ロボスタ) (@robotstart) December 20, 2022
#Shoost (絵画生成)
2022年12月20日
見てくれ!これが、自動プロンプト生成によって表情筋を鍛えることに成功したミクさんだ!表情筋鍛える前との比較はリンクを下にぶら下げておきます。#AIイラスト #AIart #AImovie #stablediffusion pic.twitter.com/9cFFXipuxt
— 猩々 博士🧪学術系Vtuber (@Mega_Gorilla_) December 18, 2022
#Shoost (絵画生成)
2022年12月20日
#Shoost のちょっとしたTipsを書きました。
— MuRo (@MuRo_CG) December 19, 2022
Shoost Tips|MuRo|pixivFANBOX https://t.co/ePMP6Gp3Pu
#Shoost
2022年12月18日
Some fun with #Shoost v7 & Aldious, the update is sooo good, the new effects are amazing!#VTuber pic.twitter.com/EKgYbVt29a
— ♰ Ludovica ♰ (@LudovicaVT) December 17, 2022
#Shoost (絵画生成)
2022年12月18日
shoost新機能のLEDが良きですね!🌈 pic.twitter.com/ix0FIAE5a5
— ガオラン|Vtuber (@Gaoran_Meru) December 17, 2022
#Shoost (絵画生成)
2022年12月18日
Trying out the lastest version of Shoost and I'm in love😭❤️❤️❤️
— Rosine🌹💕@MidG (@Rosine_MidG) December 17, 2022
All those effects are so perfect! Thank you so much for your hard work🙏#Shoost pic.twitter.com/7BCd8OzRUe
#HolalaAI (絵画生成)
2022年12月17日
新しいAIイラスト生成サービス
— やまかず (@Yamkaz) December 16, 2022
「HolaraAI」が公開!https://t.co/sWSI6GGmY7
より良い色とスタイルを得るため、そして他のすべての人と公平になるために、Stable Diffusion 1.5を多くの独自手法を用いて学習させたものとのこと。以下は個人的に出力したもの、編集なしです #HolaraAI pic.twitter.com/uTqdS21nfp
#Shoost (絵画生成)
2022年12月16日
【 Update 】 Shoost v0.7.0 🎉 #Shoost
— Shoost (@Shoost_Product) December 15, 2022
- 天候やパーティクルエフェクトを追加/ Add weather and particle effects.
- LEDパネル、カメラフラッシュ、Outline、機能を追加/Add LED Panel, Camera Flash, Outline, functions.
【日本語】https://t.co/dq9UocTBiR
【English】https://t.co/MPr9ymLdlG pic.twitter.com/pI1TnwDT3v
#Shoost (絵画生成)
2022年12月15日
試しにさっそく使ってみましたが…
— ろか (@roka202205) December 15, 2022
スゲェなコレ……(語彙力)
チョチョッとイジっただけでココまで…(語彙力)#Shoost https://t.co/MNrRDu8nVS pic.twitter.com/IkFIgZIPUV
#Midjourney (3D)
2022年12月15日
デフォルメCG風ゲームキャラをMidjourneyで生成。CGレンダリング風が楽しい。困ったことに自分で作らなくても可愛いキャラがいっぱい生成されるのよね。。 pic.twitter.com/VER3Ub8Zrd
— Hirokazu Yokohara (@Yokohara_h) December 14, 2022
#AIの進展
2022年12月15日
これはホントそうですね。>RT
— Kouji Tajima 田島光二 (@Kouji_Tajima) December 15, 2022
数ヶ月前に他と差をつけるのはプロンプト入力のコツになるかと思ったけど、この辺も一瞬にして関係なくなる。
写実的にするのもたった1コマンドで出来るようになった。
#AI画集
2022年12月15日
BOX(画像生成AI出力画集) | 852話 https://t.co/M7588gnWXx #booth_pm
— 852話 (@8co28) December 15, 2022
自分用にAI画像(人物)をまとめた本をpixivFACTORYで作ってBOOTHに置きました。工場で製本・発送されるので住所バレの危険無し。
A5縦オールカラー100P2200円(+送料)
この動画が中身全てになります。紙で欲しい人向け。 pic.twitter.com/mG2sReyZwv
#StableDiffusion (アバターがテキスト発話)
2022年12月15日
伝えたいことをAIで話すアバター動画に一瞬で変換!
— やまかず (@Yamkaz) December 13, 2022
GPT-3、Stable Diffusion、D-IDの独自の顔アニメーション技術を組み合わせた世界初のプラットフォーム
「Creative Reality Studio」が公開https://t.co/2Cvi975XQg pic.twitter.com/X7uqfMKd84
#Imagine3D (3D生成)LumaAI
2022年12月15日
テキストから3Dを生成する新しい機能
— やまかず (@Yamkaz) December 14, 2022
「Imagine 3D」が公開予定!https://t.co/bAuCCEXoaa
Luma AIがまさかの3D生成サービスを公開されるようです。現在アーリーアクセス中で、今後改善を続けることで、誰でも利用可能にするとのことpic.twitter.com/j9yRUr4b0Whttps://t.co/RUfR3EIWz5
#Aitutsprompt (イラスト生成)
2022年12月14日
無料で高品質のMidjourneyプロンプト収集サイト
— やまかず (@Yamkaz) December 13, 2022
「Aitutsprompt」が公開!https://t.co/3cjfhbIHTu pic.twitter.com/FSXsuzvv44
#AIイラストメーカー(イラスト生成)
2022年12月14日
Meituの「AIイラストメーカー」が凄すぎると話題! 下手な落書きが瞬時にプロ並みの萌え絵に! - OTONA LIFE | オトナライフ https://t.co/LjIayV8Qe3 #ロボット業界ニュース
— ロボットスタート(ロボスタ) (@robotstart) December 13, 2022
#ダンスモーション生成(ダンスモーション生成)
2022年12月13日
これって、ヒューマノイドにさまざまなダンスを踊らせるのが可能になるということ?https://t.co/zfgcf4YDAq https://t.co/G2UWx1eEWu pic.twitter.com/pL2AEiiDED
— YANO Tomoaki@JSMEーTRCビジョン2050WS12月23日 (@yanotomoaki) December 12, 2022
#アニメ生成 (アニメ生成)
2022年12月12日
It's really cool that I can just animate small bits of generic animations and then tie them together on the timeline in unity to make sequences. pic.twitter.com/KRRTj4Xt16
— Lez (@leztusi) December 11, 2022
#852 -diffusion-V0.2(画像生成)
2022年12月9日
8528Diffusionv0.2を公開しました。 SD、WD AIモデルの追加学習 よもやま話2|852話 @8co28 #note https://t.co/ViRTXS179K
— 852話 (@8co28) December 9, 2022
一応リンクまとめ記事です。ckptをダウンロードできるhuggingfaceと白井さんに作っていただいたcolabと学習元データとdiscord鯖のリンクが載ってます。
#852 -diffusion-V0.2(画像生成)
2022年12月9日
852話さんが作った 8528-diffusion-v0.2をGoogle Colab上で起動したWebUIで使用するコードです。https://t.co/slD5EtZwIZ
— Dr.(Shirai)Hakase #AI神絵師本 #GREEVRStudioLab (@o_ob) December 9, 2022
Running on public URL: https://t.co/59uk61Jg19
と出てくるURLをブラウザの https://t.co/kbnG05BECF のURLを別ウインドウで開くと、AUTOMATIC1111が動きます!#8528d pic.twitter.com/OjfslEiYpr
#StableDiffusionV2 (画像生成)
2022年12月8日
画像生成AI「Stable Diffusion v2.1(SD v2.1)」を組織「Stability AI」がもうリリース!SD 2.0ではフィルタを厳しくしすぎてデータセット内の人の数が大幅に減ってたが、ユーザーの要望に応えてフィルタを緩和。v2.0と比べ、解剖学や手の表現が向上。Stability AIは止まらないhttps://t.co/Qgd7sTfWG4 pic.twitter.com/bkAQmiExe2
— 小猫遊りょう(たかにゃし・りょう) (@jaguring1) December 8, 2022
#StableDiffusionV2 (画像生成)
2022年12月8日
Stable Diffusion V2(768px)用ピクセルアートのembeddingが公開!https://t.co/Ic7PvR5Bwu pic.twitter.com/N9V3wCarn0
— やまかず (@Yamkaz) December 8, 2022
#StableDiffusion2 .1(画像生成)
2022年12月8日
Stable Diffusion 2.1がリリース!!早い!https://t.co/8qBvDnd0hK
— やまかず (@Yamkaz) December 7, 2022
DreamStudio搭載と同時に、モデルもリリース!
2.0をベースに、手や解剖学的表現が向上し、様々なアートスタイルに対応。より多くのトレーニング、より多くのデータ、データセットのフィルタリングを緩和https://t.co/VVaPWYLsqj pic.twitter.com/V12Z3yDIVV
#AIイラスト急増(画像生成)
2022年12月6日
イラスト投稿サイトの「pixiv」でもAI画像の投稿が急増しています。7月以降の投稿件数は、AIで生成した画像と表記するイラストだけで累計9万件を超えます。#日経ビジュアルデータ #画像生成AI https://t.co/WPPU03gm2E pic.twitter.com/x5EMoW2jv0
— 日経ビジュアルデータ (@nikkeivdata) December 4, 2022
#8528d -1205_2(画像生成)
2022年12月6日
今回の実験の中で一番キュートだったやつ
— 852話 (@8co28) December 6, 2022
AI 無編集 #8528d pic.twitter.com/g83a4XQMKg
#8528d -1205_2(画像生成)
2022年12月6日
AI
— 852話 (@8co28) December 6, 2022
8528diffusion v0.2ができたので実験中
色々出せるようになってきた#8528d pic.twitter.com/kGx1XGwjgr
#8528d -1205_2(画像生成)
2022年12月5日
AI
— 852話 (@8co28) December 5, 2022
8528d_1205_2(追加学習βモデル)
2000枚学習させたv0.1データに新たに2500枚追加学習させたもの。扱いづらいがどんどんいいものになっている気がする。#8528d #AIart pic.twitter.com/f0f0ogvwOU
#DALL -Emini(画像生成)
2022年12月5日
英語の文章に基づいて画像を自動生成するAI「DALL·E mini」が、生み出されるシュールな画像ゆえに話題になっている。https://t.co/nsuMZv5eNG
— WIRED.jp (@wired_jp) December 4, 2022
#InvokeAI2 .2(画像生成)
2022年12月4日
最強のStable Diffusion実装になりつつある..
— やまかず (@Yamkaz) December 2, 2022
「InvokeAI 2.2」がリリース!https://t.co/bcVZEqy00c
【新機能】
・無限キャンバス, Out/Inpainting、img2img
・Embedding管理
・高度な画像ビューワー
・Mac M1/M2,Windows, Linuxで1クリックインストール
・モデルが安全か自動スキャン
・DPM++2 pic.twitter.com/5vLna81JvQ
#個人作成ゲーム(AIでゲーム開発)
2022年12月4日
個人ゲーム開発でこのクオリティか…将来は映画やゲームの境界線は消えていくのかも。#3DCG #UE5
— 佐藤航陽 🌎 著書「世界2.0 メタバースの歩き方と創り方」 (@ka2aki86) December 2, 2022
pic.twitter.com/kYPmUFbSLp
#TikTok (AIマンガ生成フィルタ)
2022年12月4日
TikTokにAIマンガっていう画像生成フィルターが搭載されてた。試した。流行ってるらしいけどホント海外は動きがはやい pic.twitter.com/kxArHMCAUP
— Hirokazu Yokohara (@Yokohara_h) December 3, 2022
#meitu (作画)
2022年12月4日
AIイラストメーカーで有名なクラシック音楽家を美少年化すると破壊力がすごいシリーズ。せっかくなのでゲームパッケージ作ってみました。#クラシック音楽家とAIアルケミスト pic.twitter.com/PK55XhQ8gr
— 徳重龍徳(ライター、グラビア評論家)@ホークス&ちいかわファン (@tatsunoritoku) December 3, 2022
#4次元生成(一覧)
2022年12月1日
画像生成AIが話題だけどこの数ヶ月で以下3次元、4次元生成AIも多く発表されてる
— bioshok(INFJ) (@bioshok3) November 30, 2022
○text→3D
Dreamfusion、StableDreamfusion、Magic3D
○image→3D
LOLNerf、3dim、Get3D、NeuralLift-360
○4D→4D(映像から自由視点映像)
NerfPlayer、PFN 4D Scan
メタバースの要素技術が洗練されてっている。
#StableDiffusion (追加学習)
2022年12月1日
#nerf -for-image(GoogleResearch)
2022年12月1日
Google Researchの画像1枚からできるNerf、これもえぐい
— birdMan (@birdMan710Nika) November 30, 2022
なお
requires either 4 GPUs with 40GB of memory each (e.g. A100) or 8 GPUs with at least 24 GB each.https://t.co/DuPICYeN0b
#学習方法最適化 (高速化)
2022年12月1日
急速に研究開発の進む大規模言語モデル分野ですが、「これまでの訓練方法は最適ではなかった」という結果が発表され、小規模で高い性能を上げるモデルが開発されています。
— ステート・オブ・AI ガイド (@stateofai_ja) December 1, 2022
本記事では、最適な訓練・チューニング法に関して、最新の論文をピックアップして解説しました。https://t.co/Dphc6pIoxb
#INDUSTRIALATHLETE (動作解析)
2022年12月1日
INDUSTRIAL ATHLETE analyzes order picking at KNAPP AG in Austria
— Wevolver (@WevolverApp) December 1, 2022
KNAPP AG from Hart bei Graz in Austria uses the mocap-based measurement system INDUSTRIAL ATHLETE from scalefit to evaluate their ergonomic goods-to-person workplaces.
Video source: scalefit#AI #motiontracking pic.twitter.com/yQqMjrhls5
#WaifuDiffusion
2022年12月1日
自分が出力したAI画像をさらに学習させたモデルを作った話
— 852話 (@8co28) November 30, 2022
4枚の画像は追加学習後のWDの出力物。
SD、WD AIモデルの追加学習 よもやま話1(ckptテスト用colabあり)|852話 @8co28 #note https://t.co/OUa1EG1GPM pic.twitter.com/frHx2S2tpW
#WaifuDiffusionxColab
2022年11月30日
#WaifuDiffusion
2022年11月30日
WaifuDiffusionに追加学習させた8528_1130.ckptモデルの同seed対比。背景は若干弱いけど全体的な画面の構成はいい感じに出力されるよう調整された。
— 852話 (@8co28) November 29, 2022
学習に使ったのはAI出力(t2iか、t2iのi2i)画像1500枚くらい。 pic.twitter.com/OrayEHusm5
#NovelAI
2022年11月29日
NovelAIの深部で謎の未確認生物「Uwawawawawwaawaawaawawwawawa」が発見されたhttps://t.co/ExfInP99B2
— やまかず (@Yamkaz) November 28, 2022
アニメの女の子と融合することができる非義務的な共生体で、頭頂部からの融合を好み、帽子のような役割を果たすとのこと pic.twitter.com/BqpASldf4J
#拡散モデル実装にColabを使用
2022年11月29日
WDモデルへの追加学習にこちらのcolabを使用させていただきました。現状VRAM的にcolabのpro以上だと使えるようです。 https://t.co/lHYgmeaEYa pic.twitter.com/PjUKw09BPs
— 852話 (@8co28) November 29, 2022
#CLIP STUDIO PAINT 画像生成AIパレット実装
ついに、大手画像作成ソフトウエアがAIを組み込み始めた
Adobeが組み込む日も近い
2022年11月29日
12/6(火)に無償公開するVer.1.13.0で「画像生成AIパレット」の試験的な実装を予定しています。
— CLIP STUDIO PAINT(クリスタ) (@clip_celsys) November 29, 2022
今回の実装にあたりセルシスはユーザーデータをAI学習用に一切提供しておらず、今後もユーザーの明確な同意なしにデータを収集・利用することはありません。https://t.co/rhjDfSFuRo pic.twitter.com/hACKPxPtkB
#WaifuDiffusion + Nijijourney
2022年11月29日
#WaifuDiffusion に #Nijijourney で生成した画像を数百枚追加学習した画像。今まで作ったAI画像を全部学習させて自分だけのモデル作る計画している。 pic.twitter.com/MUelwi9UJL
— 852話 (@8co28) November 29, 2022
#芸術系AIまとめ
2022年11月28日
「創造するAI」が進化 テキストからついに動画を生成: 日本経済新聞 https://t.co/pW0NRIX3CL #ロボット業界ニュース
— ロボットスタート(ロボスタ) (@robotstart) November 27, 2022
#AI画像生成の方法
2022年11月28日
#生成系AIベンチャー
2022年11月27日
ゲーム x ジェネラティブAI (by a16z)
— 久保田 雅也@ベンチャーキャピタル (@kubotamas) November 26, 2022
AIはイノベーションが加速。AI関連の論文数は指数関数的な伸びを示している
日本で生成系AIは話題にならずスタートアップは少ないが、シリコンバレーは革命前夜な盛り上がり🔥
続👇 pic.twitter.com/cPpxrCModI
#Stable Diffusion2.0 (画像生成)
2022年11月24日
うおっっっ!!!Stable Diffusion 2.0がいきなりリリースされた!!!!! https://t.co/v1ppFOPrtR
— うみゆき@AI研究 (@umiyuki_ai) November 24, 2022
#nijijourney (画像生成)
2022年11月21日
#nijijourney ざっくり感想
— 猫黒夏躯 (@NatsukuPhoto) November 20, 2022
・クローズドβ版より進化してる
・NAIで使ってたPromptを流用しても全然結果が違うので,これ用のPromptを練る必要あり
・長々したPromptより,短めにしてnijijourneyにお任せした方が良い部分強そう
・やはり背景が強い.その上で銃や楽器の破綻も少ない
かなり良い感じ! pic.twitter.com/UXusJI3wdk
#Stable Diffusion (画像生成)
2022年11月20日
Stable Diffusionで「どの呪文がどこに効いているか」を可視化する手法、DAAM試してみました!
— birdMan (@birdMan710Nika) November 16, 2022
(要するにStable Diffusion用のGrad-CAMみたいなもん)
詳細はALTに記載。
これは呪文研究に効果を発揮しそう…!https://t.co/loE3uYkbzc pic.twitter.com/2sxF2nE5N0
#eDiffi (画像生成)
2022年11月14日
これだと文字も正しく出ると。人類最後の砦が……
— 尻P(野尻抱介) (@nojiri_h) November 14, 2022
NVIDIAが発表した最高性能の画像生成AI「eDiffi」の仕組みと機能|IT navi @itnavi2022 #note https://t.co/3sQwXZKgT9
#Stable Diffusion (画像生成)
2022年11月14日
元素法典・水の魔術で生成して、その1枚をimg2imgで「これをmikuさんでお願い」した結果。#初音ミク #stablediffusion #anythingv3 pic.twitter.com/CxaWT4giZs
— 尻P(野尻抱介) (@nojiri_h) November 14, 2022
#Stable Diffusion (画像生成)
2022年11月13日
Stable DiffusionのVAEって単品だとどのぐらいの性能なんかなぁとふと思って試してみたらめちゃくちゃ強かった
— なんか (@_determina_) November 9, 2022
オリジナルと再構成後の差が普通に分からん pic.twitter.com/5jluZhpK0N
#Anything v3.0 (画像生成)
2022年11月13日
謎に包まれた画像生成AI「Anything v3.0」が新たに登場。「NovelAIを凌駕している」と評価するユーザーも多く、従来の画像生成AIの問題点、例えば「手がうまく描けない」という部分が大幅に改善されているらしい(コンピュータウイルスの話も聞くので使用する場合は要注意) pic.twitter.com/u2444gXrvM
— 小猫遊りょう(たかにゃし・りょう) (@jaguring1) November 13, 2022
#NovelAI +FSBT (アニメ生成)
2022年11月12日
出来たわ。。3DのAIを用いたアニメ化!#NovelAI + FSBTで、i2iの弱点である、表情や髪型、服装に一貫性がない問題を修正しつつ、3Dの躍動感と2Dの可愛さを出来たぞ。
— 猩々 博士🧪学術系Vtuber (@Mega_Gorilla_) November 10, 2022
私が求めていたのはこれ!!#NovelAIDiffusion pic.twitter.com/2zxwc3o5Cx
#DeepLearning (AI基盤モデル)
2022年11月12日
分かりやすい解説だった。
— Shuuji Kajita (@s_kajita) November 11, 2022
AI開発の新たなパラダイム「基盤モデル」とは https://t.co/k4NeTsw34s
#BehavierTree (ロボット行動決定)
2022年11月12日(NEW!)
現在開発中のロボットアームを動かすためにBehaviorTreeというソフトウェアを使っています。
— HarvestX Inc. 🍓授粉ロボット (@harvestxjp) November 11, 2022
ゲーム等でCPUの行動決定をするのに広く利用されており,知能ロボットでの活用も期待されています。#BehaviorTree #ROS2 #ロボティクスhttps://t.co/Hj0yMY4nsp pic.twitter.com/quGJR9INfQ
#Midjourney v4 (ミックス画像生成)
2022年11月10日
コレ凄い!Midjourney v4のRemixの新しい機能触った。生成した画像や自分の画像など2つをミックスして新たな画像を作れる。めちゃくちゃクオリティ高くて実用性高い pic.twitter.com/pwJCJPl7Bf
— Hirokazu Yokohara (@Yokohara_h) November 9, 2022
#eDiffi (画像生成)NVIDIA
2022年11月3日
おっ、NVIDIAが最先端の画像生成AI「eDiffi」を発表!約10億ペアのテキスト+画像を含むデータセットを使用。複雑なテキストを正確に読み取り、芸術的・写実的な画像を生成。幅広い芸術スタイルで生成可能。文字列を画像上に描画可能(eDiffi : ensemble diffusion for images)https://t.co/VgGuUsMs9a pic.twitter.com/CAHyOVeBXm
— 小猫遊りょう(たかにゃし・りょう) (@jaguring1) November 3, 2022
#NovelAI (アニメーション作成)
2022年11月1日
#NovelAI によるアニメーション
— 852話 (@8co28) November 1, 2022
UC 3dを上手く使って手描き感のある連続アニメを作りました。前回の東方から一皮むけたかもしれない。すごい。
(AIアニメのあとにi2iで使用したMMD出力の動画が流れます)#NovelAIDiffusion pic.twitter.com/6REzUX4Cao
#ERNIE -ViLG2.0 (画像生成)Baidu
2022年10月28日
中国のBaiduが新しい画像生成AI「ERNIE-ViLG 2.0」の論文と試せるデモページを公開。以前二次元キャラ生成に強いと話題になったAIです
— やまかず (@Yamkaz) October 28, 2022
デモ: https://t.co/teGSYiMryM
論文: https://t.co/KH2c5qpow7 pic.twitter.com/UeIKkssWlg
#NovelAI (画像生成)
2022年10月27日
#NovelAI 用の呪文生成器作りました!https://t.co/KUDqSE78cm
— 逆瀬川 (@gyakuse) October 24, 2022
呪文ガチャや作った呪文の保存、共有などができます。
結構便利に作れたと思うのでぜひ使ってみてください! pic.twitter.com/duHuLSGi4m
#芸術系AIまとめ
2022年10月26日
(本文より)
AIがテキストから変換するのは画像だけだろうか?
すでに音楽やダンスモーションを生成するアプリケーションができている。
入力と出力は、復元が成立しているかどうかを自己評価できるならなんでも結びつけられるだろう。
SDのプロンプトはいまのところ英語に限られるが、私は機械翻訳を援用している。テキストの音声入力も近頃は人間以上の成績になっているので、これらを組み合わせればSFのように声でなんでも作れるようになる。
「新しいコートをデザインしたいんだ。丈は短めで、フェイクファーの質感に。……いや、襟はもっと大きくして」と口頭で指示できる。ロボットの動作も、ボカコレに応募する音楽も、声で指示できる技術が出揃っている。
テキストからの画像生成と、逆に画像からテキストを生成できるようになると、画像を仲介した意味理解ができた、とみなせるかもしれない。
テキストは英語に限らない。
apple(英語) →りんごの絵→りんご(日本語)
と翻訳もできる。これは単純に英和辞書を引いているのではなく、りんごの本質を介しての翻訳なので、自然言語の意味理解に結びついている。記号着地というやつだ。
#動画生成
2022年10月20日
ついに動画作品が!
AIに人類の進化を描かせる。後半がヤバイ。デジタルクリエイターのファビオ・コンペレッリの作品。
— 萩原幸也 ®️ (@onipro) October 20, 2022
pic.twitter.com/f7ShFb6Kcs
#Colab (音楽生成)
2022年10月20日
テキストで音楽作成の指示
テキストから音楽生成きた!
— やまかず (@Yamkaz) October 20, 2022
Stable Diffusionと同様、テキストを入力するだけでAIが音楽を生成してくれるColabノートブックが公開
(中身はmuburt(@mubertapp)のAPI)
やってみたけどこのプロンプトエンジニアリング難しいpic.twitter.com/i6ztYB8JOdhttps://t.co/pEBGhwk34W
#DALL -E-Bot (ロボットの動作生成)
2022年10月17日
簡単なテキストでロボットに食器を並べさせる
画像生成AIが“ロボットの動き”を生成 英ICL「DALL-E-Bot」開発:Innovative Tech - ITmedia NEWS https://t.co/pR0y2oVU6r #ロボット業界ニュース
— ロボットスタート(ロボスタ) (@robotstart) October 16, 2022
#NovelAI (画像生成)仕様
2022年10月20日
NovelAI 仕様公開
今日、NovelAIの仕組みを簡単に説明した記事を公式が公開。LAIONデータセット(約150TB)からの約20億枚の画像で学習した「Stable Diffusion」をベースに、詳細なテキストでタグ付けされた約530万枚のデータセット(約6TB)で微調整。モデル自体は約1.6GBのバイナリファイルhttps://t.co/ax4mEHADWY
— 小猫遊りょう(たかにゃし・りょう) (@jaguring1) October 20, 2022
AIイラスト生成サービス
#StableDiffusion 走らせ方
前準備必要ですが Docker for Windows の上でうごかすほうが環境依存さけやすいかと。
— わたなべごう (@wtnbgo) October 11, 2022
細かくコードもいじる想定の場合は Docker の知識は必要になります。
参考記事 https://t.co/DUqMVVCYcI
この記事だと automatic1111 で構築してますが jupyter notebook での例も検索すればでてきます
novel aiの内部技術が公開されましたね。落とし所探ってる段階かな。 https://t.co/ZNNQl63cr8
— 深津 貴之 / THE GUILD / note.com (@fladdict) October 11, 2022
2022年10月11日
#Stable Diffusion (画像生成)理解促進
何かと世間を賑わせている Stable Diffusion。技術的には、近年研究開発が進んだ「拡散モデル」ですが、どの論文をどの順番で読んだら良いか入門が難しいトピックです。
— ステート・オブ・AI ガイド (@stateofai_ja) October 11, 2022
本記事では、この Stable Diffusion を基礎から理解したい方向けの必読論文とその概要を紹介しました。https://t.co/95kJk7emgW
2022年10月6日
#NovelAI (マンガ生成)
Novel AIで漫画作ってみました
— ゆりどり (@yurijinitai) October 6, 2022
「写真ができたときにも今のAIと同じような気持ちになった人がいたのか、調べてみた」#NovelAIDiffusion #NovelAI pic.twitter.com/84tzvhdm7q
#NovelAI , #img2img (画像生成)
img2imgが面白くて
— 東亜あじこ@Vtuber (@Ajiko_channel_v) October 5, 2022
これ、呪文も丁度良かったんだけど
SSR引いた気分
サムネだと一緒なの本当にすき#NovelAIDiffusion #novelAI pic.twitter.com/yCxoQgzmgK
#Shoost (動画生成)
神アプリShoostで遊んだ…エモすぎる pic.twitter.com/2wL8TjuCBO
— 倉吉サム🐢11月以降お仕事募集中 (@kurakichi36) October 8, 2022
#Model inversion attack
Model inversion attackってのがあって、学習データをモデルから復元できるか、みたいなのは問題になったりするところではある。
— chokudai(高橋 直大)🍆@AtCoder社長 (@chokudai) October 8, 2022
Stable Diffusionベースのものへの攻撃ではないけど、例えばこんなのがあったり。基本的には難しいのはわかると思う。https://t.co/3KVInC7PN4
#Stable Diffusion (画像生成)入門
Stable Diffusionの入門キットColabをアップしました。
— 深津 貴之 / THE GUILD / note.com (@fladdict) October 7, 2022
diffuser0.4対応したので早いし軽い。あとSD、Waifu、TrinArt、Rinna、オリジナルモデル等に切り替え可能す。https://t.co/2za9T9cd76 pic.twitter.com/NIn0gxp19x
#DreamFusion (動画生成)
速すぎる…テキストから多様で高精細な3D生成が可能なAI「DreamFusion」の論文が1週間前に発表され、衝撃を与えたが、内部ではグーグルが非公開にしてる画像生成AI「Imagen」が使用されており、実装も非公開だった。だが、もうstable diffusionに置き換え、オープンソースにhttps://t.co/lpz6gN3FAW
— 小猫遊りょう(たかにゃし・りょう) (@jaguring1) October 7, 2022
#imagenVideo (動画生成)Google
これCGじゃなくてテキストから動画生成。しかもHD解像度。凄い! https://t.co/rsZNl1ot8n
— Hirokazu Yokohara (@Yokohara_h) October 5, 2022
#imagenVideo (動画生成)Google
毎日、発展の連続だな。テキストから動画を生成するAI「Imagen Video」をグーグルが発表。テキストアニメーションの生成や様々な芸術スタイルのビデオ生成などが可能。物体の回転に対して構造をほぼ維持。3Dオブジェクトに関する理解能力が確認されるhttps://t.co/gEus6EUyeLpic.twitter.com/Gnoaj94Kwh
— 小猫遊りょう(たかにゃし・りょう) (@jaguring1) October 5, 2022
#NovelAIDiffusion (コミック生成)
『ネームがあったらAIで漫画は描けるのか』考察
— 852話 (@8co28) October 4, 2022
3枚目を指示画像に
Strength:0.75 文字指定は「pixiv, girl, dinamic pose, manga, white and black, comic,」
2枚目が生成されたので最低限の加筆修正写植して1枚目に
絵が描けなくても漫画を発表できるようになる時代だ#NovelAIDiffusion #novelAI pic.twitter.com/CMEgrEXvE7
#NovelAIDiffusion (画像生成)
話題のやつ、自分でサイト上で書いたイラスト(一枚目)から生成してみた!#NovelAIDiffusion#NovelAI pic.twitter.com/pewfqJKN4C
— picco (@picco_xxx) October 3, 2022
#AudioGen (音楽生成)
テキストから音生成。スゴイ、ヒップホップやサンプリング音楽系には神なのでは? 環境音なんでもメイカーになってる https://t.co/Z6WcIQw8bw
— 深津 貴之 / THE GUILD / note.com (@fladdict) October 1, 2022
#Make -A-Video (動画生成)Meta
え..このクオリティはやばい。
— やまかず (@Yamkaz) September 29, 2022
テキストから動画を生成するAI「Make-A-Video」をMetaの機械学習エンジニアチームが発表。https://t.co/ZK7iuI5KVN pic.twitter.com/VLzKTCuAYg
#Phenaki (長編動画生成)
これまた凄い。本日もう一つの動画生成AI「Phenaki」。連続したテキストから、従来よりも長いストーリーのある動画を生成。2分の動画の生成例もある(T5X、C-VIVITなどを利用)。昨日の夜にMetaが発表した動画生成AI「Make-A-Video」とは別のものhttps://t.co/lkouQBceEt pic.twitter.com/LdHyvOY61h
— 小猫遊りょう(たかにゃし・りょう) (@jaguring1) September 30, 2022
#DreamFusion (3D動画生成)
なんて日..。
— やまかず (@Yamkaz) September 29, 2022
テキストから動画を生成するAIの後に、3Dを生成するAIが出てきた。(両方とも過去のものより質が高い)
名前は「DreamFusion」。作者は匿名。
ええ、速すぎる ほんとに何が起きてるのhttps://t.co/rsttNZuy5I pic.twitter.com/GJMJic2V5R
本noteは私の備忘録ですが、自由に読んでください サポートは、興味を持ったnote投稿の購読に使用させていただきます