見出し画像

日刊 画像生成AI (2022年10月21日)

やまかず

画像生成AI界は、今認識できないスピードで進化をし続けています。
DALL・E2公開、Midjourney公開、StableDiffusionがオープンソースで公開されて..進化の速度が上がり続けており、日々異常なスピードで変化しています。

"期待とざわめき"

そんな中、毎日時間なくて全然情報追えない..！って人のために業界変化、新表現、思考、問題、技術を毎日あらゆるメディアを調べ、まとめています。


過去の投稿はこちら


開発

RunwayMLがStableDiffusion1.5v出した騒動

知らない人に向けてまず分かりやすく説明します、ずっと待ち望まれていたStableDiffusionの新バージョン 1.5vがなぜかStability AIからではなく、AI動画編集ツール（現状の機能から分かりやすくこう呼んでるだけでほんとは Magical AI Tool）のRunwayからなぜか突如StableDiffusion1.5vが一方的にリリースされました。そしたらStability AIから削除申請がきていたりと..一体どういうことでしょうか。ちょっと推測も混じりますが解説します。

まず、騒動まとめはこちら。

そもそもRunway、Comvis、StabilityのStableDIffusionの原点の話はこちら。

ちょっと僕も完全に把握できていないので間違っていたらすみません。

僕の2つの推測を話します。

1つはモデルの作成者がRunwayのPatrick Esser（Runwayの主席研究員）とLMU Munich（大学）の人だからRunwayから公開している。…ということなのか。（俺らの成果なのに..じゃあもう出しちゃえ！的な）

もしくは、Stability AIはNSFW画像が生成できてしまう点を完全回避したSFWモデルを作るために1.5モデルを調整している（これは事実）が、Runway側がNSFWモデルを出して、Stability AIが止めるという流れにすることで本当は公開したいNSFWモデルを公開している。ということなのかもと思ったりしています。（どうなんだろ..全然間違ってたらコメントで指摘ください、修正します。）

まず、RunwayからStabilityAIの同意なしにモデルがリリースされ、StabilityAIからRunwayの方に自社のIPの漏洩だとして削除要求を行う。ただ実はこれはStabilityAI代表のEmad氏は送っておらず、法務が要求したもの。Emad氏のDiscord曰く「Stable Diffusion 1vのリリースはモデル作成者次第でした」と言われていることから推測するに、1.5vの開発者を見るとRunway所属Patrick EsserとLMU Munich所属Robin Rombachとなっているため、主にRunwayから公開しようとなっているのではないかと思い、1つ目の推測しました。

また使用者の方の投稿を見るにRunwayからリリースされたモデルはnsfwフィルターはついておらず、stabilityAIはsfwモデルを作ると言われているという情報を聞いたので、2つ目の推測をしています。


モデルのリリースに少し遅いアプローチを取っている理由

1.5vがなぜこんな出るの遅いねんということで、StabilityAIがクローズドになった説、モデルを公開しない説が唱えられていました。その件に関してStabilityAIのCIO Daniel Jeffries氏がこの日コメント。

どうやらオープンソースであり続けるために、NSFW問題、データ問題に正式に対処している上、ディープフェイク検出に対してお金を出したり、オープンソース委員会を結成しているとのこと。

私たちは、データのクリーニング、NSFWポリシー、モデルリリースの正式なガイドラインといった主要な問題を決定するために、オープンソース委員会を設立します。 このフレームワークは、オープンソースで長い歴史を持ち、とてつもなくうまくいっています。 オープンソースAIは、同じ民主的原則に導かれる必要があります。また、私たちはディープフェイク検出に対して20万ドルの賞金を発表し、そのソフトウェアをオープンソースかつ無料で公開し、社会がこの機械学習の乱用と闘うのを支援する予定です。

社会や私たち自身の ML 研究者コミュニティや規制当局からの非常に合理的なフィードバックに対処しなければ、オープンソース AI が存在しなくなり、誰も強力なモデルをリリースできなくなる可能性があるということです。それは私たちが住みたい世界ではありません。

いろんな指摘を受けて、「全員にそういう出力ができてしまう可能性を与える」ということを防がないといけないという考えになっているんだと思います。


StabilityAIからFine-Tuning VAEリリース & the Best Available Stable Diffusion notebook

1.5vリリースの後StabilityAIからFinetuningされたVAEがリリースされたそうです。これと1.5vを組み合わせたら出力が良くなるっぽい。

目がちゃんと書けてる。
この方が両方を試せるthe Best Available Stable Diffusion notebookを公開されています。試したい方は是非。


お絵描きAIばりぐっどくんが画像生成API公開

業界最速で生成するAPIを0.4円で公開とのこと。この値段設定ははmemeplexの0.5円を意識したものでしょうか。というか200万人いるのすごいな..みんなが使ってるプラットフォームで超速で分かりやすい形でリリースするのは賢かったですもんね、いやすごい。


Canvaに画像生成機能が追加


RunwayがTextから3Dtexture搭載

シームレスな画像生成（タイリング）機能が実装されました。
新機能搭載されたの4日前だけどまた搭載してハイクオリティなpvまで作ってる。Runwayすごい

結構前にリリースされたpunzuと同じやつが実装されたっぽいですね
個人で開発されていたやつがどんどん企業が実装する流れがきてる。


Stable Hordeが1.5vモデルを搭載。

無料でStable Diffusionが使える、Stable Diffusionワーカーのクラウドソーシングによる分散クラスターStableHordeに1.5vモデルが追加されました。

https://www.reddit.com/r/StableDiffusion/comments/y9dwfb/the_stable_horde_now_supports_img2img_as_well_as/


表現

852話さんのいくつかの生成イラスト

シンプルなデフォルメイラスト生成、描画の細い風景の出力、水彩の検証など幅広く検証されていて素敵だったのでメモ。（色んな人が検証していると思うんですが、タグ検索で上の方にあるやつとタイムラインしか見れていないので..もっと素敵なのやられていたら送ってください。載せます）


横幅1984x512のNovelAI生成画像

めっちゃいいですね。今のこのサイズの画像設定できるんですか？1092くらいが限界だったのにここまでいけるみたいです。（流出モデル?）


滑らかすぎる遷移をするAIアニメーション

四季を感じさせるアニメーションということで女性の周りの花やカラーが季節で変わっていく。しかも滑らかに。ここまで滑らかなAIアニメーションは初めてみた。

https://www.reddit.com/r/StableDiffusion/comments/y93hmn/four_seasons_animation_using_sd_film_davinci/

プロセスが複雑すぎてすごい、努力量が違う。まず各季節の画像、代表的なものを12枚生成。その間に見える画像を4枚生成。（600枚生成して選ぶ。）それぞれをphotoshopで合成してさらに間の画像を手書きを追加してimg2imgしたりして作る。FILMで間7枚補間する。生成したやつをimg2img。全部ESRGANで拡大。これらを動画編集ソフトで繋げる。

こんな大変なのか..これできるスクリプトほしい


Paul Trilloさん新作

AIを使った映像作品に積極的に取り組まれているPaul Trilloさんが新作を公開。素敵。


研究

画像生成AIによって生成されたイラストの見分け方


StableDiffusion 1.5v検証

これを見ると本当に僅かな改善って感じですね、StabilityAIのVAEと一緒に検証した事例も見てみたい。

https://www.reddit.com/r/StableDiffusion/comments/y94pp2/it_seems_that_runwayml_has_released_its_own/
https://www.reddit.com/r/StableDiffusion/comments/y99m6r/another_comparision_between_sd_14_sd_15_sd_15/


Photoshopの画像生成AI搭載背景ニューラルフィルター検証

新しく画像生成AIが搭載されたPhotoshopニューラルフィルターの検証をいち早くされている方がいました。野良のSD プラグインみんな頑張ってリリースしてたやつが一気に巨人が入ってきて潰された感。どう差別化していくかがポイントですね

新機能はまとめはこちらに。


勉強

Dr.Hakaseさんが「AIとコラボして神絵師になる　論文から読み解くStableDiffusio」を出版

めちゃめちゃたっぷりで細かく書いてある。気になっています。


最後に

最近はSDとか他のAIのコード使ってアプリ開発をしてみているので、検証投稿が全然できていません。最新情報はいち早く分かりやすくまとめているのでよかったらどうぞ。

画像生成AIの実験, 最新情報のまとめはこちら


過去の号はこちら

次の号はこちら


サポートいただけると喜びます。本を読むのが好きなので、いただいたものはそこに使わせていただきます