見出し画像

日刊 画像生成AI (2022年9月21日)

やまかず

画像生成AI界は、今認識できないスピードで進化をし続けています。
DALL・E2公開、Midjourney公開、StableDiffusionがオープンソースで公開されて..進化の速度が上がり続けており、日々異常なスピードで変化しています。

"新しい絵の具"

そんな中、毎日時間なくて全然情報追えない..！って人のために業界変化、新表現、思考、問題、技術を毎日あらゆるメディアを調べ、まとめています。


昨日までの投稿はこちら


開発

DreamStudioがMasking, in-paintng, out-paintingを実装

使い方動画が上がっていました、こちらに。


MidjourneyがTile設定可能に

Midjourneyがプロンプトに「--tile」を指定すればタイル画像を生成できるようになりました。Stable Diffusionに追加された機能はどんどんMidjourneyにも追加されていくのでしょうか。楽しみです。

https://discord.com/channels/662267976984297473/952771221915840552/1021879247360499804
こういうのが出せる。並べてもつなぎ目に違和感がない画像が生成できちゃう。

また、以下サイトにタイル画像をドラッグすればタイルにした時どんな感じが分かるとのこと。このパラメーターをいじるとタイルの大きさを変えることができます。タイル画像生成する際はマストですね。


Chinese Stable Diffusion

中国語版Stable Diffusionがリリース。中国語を入力して画像を生成できます。PaddlePaddleなので、中国Baiduが開発したということだと思います。以前話題になったERNIE-ViLGもここの開発したものですよね。


ノードベースで機能を搭載しまくったWebUIが開発中。 

現在開発中のおそらくリリースされたら最強に近いStable Diffusionが扱えるサービスが誕生予定。非常に応答性の高いwebgui を (無料でオープン ソースで) 実行し、サーバーを (自宅またはレンタルの vps) に向けるサーバーになると考えられているそう。生成して、その画像を使ってimg2imgしたりするときだったり、Loopbackで作るとき画像を参照したりするのが面倒ですが、このノードベースエディタならかなり制作が楽になりそう。あとよく見たら、video2videoとかtext2videoもある。Community Feed的な仕組みもあるといいなと期待。

https://www.reddit.com/r/StableDiffusion/comments/xjrs2t/our_dream_gui_is_coming_together_nicely_we/


Prompt InPaintingが開発。

これまでは、ある人の服装を変えた画像を作りたいとなればその部分を塗りぶししないといけませんでした。でもこれがあればもうそれがテキストだけで終わります。素晴らしい開発。clipsegを使用して要求されたもののマスクを作成して、標準の img2img を使用してマスクされたもののコンテンツを上書きできるようにすることです。すごい！これめちゃめちゃ嬉しいですね。

colab, githubはこちら。

また、http://avyn.com/ではすでにこれが実装されており、無料で使用できるとのこと。


Stable Diffusion 減算 (類推)ができるツール

プロンプトの足し算、引き算ができるやつは公開されていたと思うのですが、それと同じだったらすみません。これは2つのプロンプト A と B の差である X を計算し、X を別のプロンプト C に加算することによって行われる。例えば、男と女の差「X」を導くと、それは性別を表すので、その「X」を例えば男の王様の画像に適用すると女性になるということ。応用したらめっちゃいいですねこれ。


Diffusion UI開発

Stable Diffusion で画像を生成するための APIを制作されている方がいました。text2img、img2img、inpaintingができるとのこと。既にいっぱいあるので、差が分からないですがもしAPIを活用されてる方がいたらこちら確認必要かもです


Stable Diffusionのための巨大なクラウドソーシング分散クラスター

井口健治(needle)さんが呟かれていたので発見しました。強力なGPUを持たない人でも、コミュニティが提供する空き/アイドルリソースを利用してSDを利用することができるとのこと。


表現

img2imgでパレイドリアを引き起こす。

Stable Diffusionのimg2imgを使えば元画像をプロンプトに寄せることができるんですが、そこでパレイドリア（普段からよく知ったパターンを本来そこに存在しないにもかかわらず心に思い浮かべる現象）が引き起こされる画像を実際にそのものにしちゃうという遊びをしている方がいました。面白い。

https://www.reddit.com/r/StableDiffusion/comments/xk0v57/turning_pareidolia_images_into_reallife_versions/


各国のイメージでポケモンを作る

一昨日リリースされたText2pokemonを活用し、国の名前であらゆるポケモンを作られている方がいました。

https://www.reddit.com/r/StableDiffusion/comments/xjl2d7/each_country_as_a_pokemon_using_stable_diffusion/


磁性流体のAIアニメーション

これは素晴らしいですね..。AIアニメーションは風景やキャラクターでやってる人が多いですがこういう物理現象はすごくAIアニメーションと相性がいいですね。めちゃめちゃいいな..


終末世界の地下バンカーを歩いてみよう！

POPPINさんの映像作品がかなりよかったので引用させていただきました。

ちょっとこのカメラ移動の仕組み気になりすぎて..リプライ確認したところ、こちらを利用されているそうです。このカメラ移動はあまり見たことがなかったのですが、Blenderのカメラ操作をDeforumで使える値に変化してくれるそうです。なるほど..使ってみます！


この回転 × 風景はなかった

昨日の投稿されていた中でも注目があった作品。この回転でのAIアニメーションあまりみたことなくて面白い。


Stable DiffusionでVJ

Touchdesigner、tidalcycle、Deforum Stable Diffusionの活用。こういうVJ作品作る方々徐々に増えてきてますね。


研究・活用

DALL・Eを使用して、古い写真を修復する

https://www.reddit.com/r/dalle2/comments/xjsxtz/using_dalle_to_restore_an_old_damaged_photograph/


Stable Diffusionで長いプロンプトの入れる際のテクニック

これプロンプトエンジニアになりたいという方は必須ですね。StableDiffusion自体は、CLIPに入力されて、埋め込みベクトルに変換されて、Diffusion Modelの画像生成に利用されるのですが、入力文章をトークナイザで意味のあるトークンに分割されるんですが利用できるトークンが75個までらしいです。なので、それを踏まえて有効なプロンプトを描くためのテクニックが紹介されています。素晴らしい記事です。


LOLNeRF 1枚の画像から3Dモデル生成

Googleが公開。ある1視点から見た画像から、3Dモデルを推定してくれるそうです。高精度に進化したそう。



Text2Light

与えられたテキストから 4K+ 解像度の HDRI を生成してくれるそうです。リアルなレンダリングと没入型 VR の実現可能性が示されてます。

数年後、生成されたリアルな空間を歩くとかありそう。


思想・ムーブメント

Getty Images / iStockが対応。

写真素材サイトのGetty Images, iStockは著作権の問題が解決されていないため、AI画像（stable diffuson, dalle2, midjourneyなどなど..）の受け入れを停止し、以前の提出物をすべて削除するとのこと。この動きは最後どういうところまで行くのか。


Midjourneyで生成した画像でタロットカード作り

かっこいい。色指定や、質感のプロンプトは固定して、内容のプロンプトを変えられてるんだともいますが、こんな素敵になるんですね、いいなぁ。

https://www.reddit.com/r/midjourney/comments/xjvbzw/printed_a_copy_of_the_tarot_deck_i_made_with/


創薬ちゃん生成チャレンジ終了

創薬ちゃんが企画していたコンペが終了。画像生成AIを使って創薬ちゃんっぽいキャラ絵を生成していた人が優勝というイベント。


最後に

Twitterに、毎日製作したものや、最新情報、検証を載せたりしています。よかったらフォローしてくれるとうれしいです。

画像生成AIの実験, 最新情報のまとめはこちら


前回の号はこちら

次の号はこちら


サポートいただけると喜びます。本を読むのが好きなので、いただいたものはそこに使わせていただきます