Catch up on AI

アニメーションの中割問題も解決する可能性!?「Animate Anyone」他 / Catch up on AI 2023.11.30

Pick upデモと論文が発表され、大きく話題になった「Animate Anyone」。画像1枚とOpenPoseの動画があれば、動画に合わせてリファレンスとなっている画像で動画を生成してくれるというもの。人間も驚異的な精度なのですが、イラストについては一貫性があり、キャラクター性を保ったまま動画が制作できます。このレベルで動くのであればアニメ制作の現場でも一部利用できるシーンはあるかもしれません。 Animate Anyone Project：https://huma

3Dモデルの生成に新アプローチ「MeshGPT」他 / Catch up on AI 2023.11.28

Pick upMeshGPT は三角形メッシュを生成する新しいアプローチで3DCGを生成する技術。生成AIによる3DCGについても様々な手法が出てきました。今後さらに精度は高まっていきそう。 MeshGPT Project：https://nihalsid.github.io/mesh-gpt/ Paper：https://nihalsid.github.io/mesh-gpt/static/MeshGPT.pdf Catch up on AI生成AI画像の品質を上げるア

画像生成AIも進化特定の概念のみをコントロールする技術　他 / Catch up on AI 2023.11.27

Pick up画像生成AIを普通に利用すると、様々な画像は比較的簡単にできるようになるが、生成した画像のベースを残しながら、特定の要素のみをコントロールするとなると非常に難しいのですが、Concept Slidersはそれらを解決してくれる可能性がある。 Concept Sliders page: https://sliders.baulab.info code: https://github.com/rohitgandikota/sliders paper:https:/

プロンプトで3Dガウスプラッティングを生成他 / Catch up on AI 2023.11.26

Pick up従来複数の写真や動画から生成する3Dガウス・スプラッティングがプロンプトだけで生成できる「LucidDreamer」。 LucidDreamer Project page : https://luciddreamer-cvlab.github.io Paper:https://huggingface.co/papers/2311.13384 Catch up on AI1枚の人の写真から3DCGを生成「Human-SGD」動画から異なる動画を創り出す生成

NeRFで構築されたオブジェクトを自由に動かす他 / Catch up on AI 2023.11.25

Pick upNeRFで構築されたオブジェクトを物理法則に基づいて自由に動かす技術。ここからさらに飛躍するとは全く思わなかった。最近のテクノロジーの進化のスピードは想像を絶するものがありますね。 Catch up on AIAIシンガーソングライターAnna Indianaが登場！今考えうる、最高峰のAI動画ワークフロー ComfyUI + Stable Diffusion Videoのテスト Stable Video Diffusionが8GBのVRAMでも動作

生成AIの画像のアップスケールが一般化しそう他 / Catch up on AI 2023.11.24

Pick upStable Diffusionなどを利用している方は当たり前のアップスケールして画像の品質を向上させる方法。それに特化したサービス「Magnific AI」が登場。このアップスケーラ専用サービスがリリースされることで、生成AIのクオリティは全体的に１段底上げされそうです。 Magnific AI https://magnific.ai/ Catch up on AI日本マイクロソフトが生成AIがどのように働き方を変えるのか？のレポートを公開 3Dの世

MidjourneyがWEBサービス化　他 / Catch up on AI 2023.11.23

Pick upDiscordでしか利用できなかった、MidjourneyがWEBサービス化。これでかなり敷居が下がる。Discordというだけでも、操作が難しいイメージを持つ人がかなりいるので大きな一歩になりそう。 Catch up on AI4090で行ける！Stable Video Diffusion 24時間年中無休で生成されるエンターテイメント、Runway TV 高精度の3DCG生成AI 「Genie」がアップデートスマートフォンの処理を視覚共有して現実世

SDベースの動画生成モデルStable Video Diffusionがリリース他 / Catch up on AI 2023.11.22

Pick upStable Diffusionベースの動画生成モデルがリリース。調査によるとrunwayと同等、pikaLabsよりも評価を上回る。モデルに寄っては双方を上回る結果となったと発表されています。イラストはまだ苦手みたい Stable Video Diffusion Colab版 Catch up on AIGen2 モーションブラシ機能解放ビデオを解析し説明してくれるvideo-llava すべてがLEGOになる Lego Cloud 生成AI

あらゆる音が楽器になるVoice to music「Musicfy」他 / Catch up on AI 2023.11.21

Pick up口ずさんだメロディーや何かを叩く音が指定した楽器の音に変換される、Voice to music「Musicfy」。音楽のセンスは必要だと思いますが、とても手軽に音楽を楽しめそうな技術です。 Musicfy https://musicfy.lol/ Catch up on AI3DCGの素材はスキャンする時代へオープンソースで実現する画像から動画へ変換「seine」 3Dオブジェクトを生成後プロンプトで編集可能に ComfyUI + OpenPose

生成AIネイティブ-リアルタイム生成AIと子供のお絵かき他 / Catch up on AI 2023.11.20

Pick up生成AIを利用することが当たり前になる時代、間違いなく世界は変わっている。その動きにどれだけついていけるか、ネイティブで無い自分は色々と考えて動かなくてはいけない。 Catch up on AILCMのモデルがアップデートされ最適化され3倍の速度に 3Dスカルプト×リアルタイム生成AI お絵かきではなくビデオからリアルタイムAI生成 ilumine AIが、LCM Painterをアップデート！ LCM LORA+HotshotXL+Multi-Con

LCM LORAsとAnimateDiff、MCNで生成されるAIアニメ　他 / Catch up on AI 2023.11.19

Pick up日常を撮影したホームビデオを、LCM LORAsとAnimateDiff、multi-controlnetでAIアニメ化。一貫性もある程度保てているし大きな破綻もない。これがLCMなのですごいスピードで生成されているというのもポイントです。 Catch up on AIラフなワイヤーからレスポンシブコーディングキャラクターの簡易アニメーションが可能に領域指定とプロンプトでアニメを制御 AnimateDiffでも範囲指定してアニメーション Comfy

一貫性のあるキャラクター生成を可能にする「The Chosen One」

画像生成AIの課題に一貫性という問題がありますが、The Chosen Oneではベースのプロンプトに足し込んでいってもキャラクター性が損なわれない。まだコードは公開されていませんが、今後期待したい技術。 The Chosen One Project：https://omriavrahami.com/the-chosen-one/ arXiv：https://arxiv.org/abs/2311.10093 paper：https://omriavrahami.com/th

スクショから解析してHTMLを構築する「screenshot-to-code」　他 / Catch up on AI 2023.11.17

Pick upスクリーンショットをアップして、解析しながらUIを再現しつつ、コーディングも行ってくれる、「screenshot-to-code」。ついにコーディングから開放される日が来るか。注目の技術です。 Catch up on AIGPTsが創れるCopilot for Microsoftがリリース Metaの新しい動画生成AI Emu Video 生成した画像を残したまま自然言語で編集できるMeta Edit 人の動きも生成できる3D Gaussian Sp

Civitaiがシードラウンドで資金調達生成AI時代の始まりか？　他 / Catch up on AI 2023.11.16

Pick up生成AIモデルファイル共有のCivitaiが510万ドルの資金調達を実施。生成aiはこれでさらに加速する可能性。認知のある大型のプラットフォームとなりうるか？ Catch up on AINiji jouneryにもStyle Tunerが実装！生成AI動画がさらに進化！AnimateDiffでInpainting+Openpose NVIDIA 大幅な性能向上した新GPU HGX H200を発表 Runway StudioがRunway televi

2023年11月の記事一覧

アニメーションの中割問題も解決する可能性!?「Animate Anyone」他 / Catch up on AI 2023.11.30

3Dモデルの生成に新アプローチ「MeshGPT」 他 / Catch up on AI 2023.11.28

画像生成AIも進化 特定の概念のみをコントロールする技術 他 / Catch up on AI 2023.11.27

プロンプトで3Dガウスプラッティングを生成 他 / Catch up on AI 2023.11.26

NeRFで構築されたオブジェクトを自由に動かす 他 / Catch up on AI 2023.11.25

生成AIの画像のアップスケールが一般化しそう 他 / Catch up on AI 2023.11.24

MidjourneyがWEBサービス化 他 / Catch up on AI 2023.11.23

SDベースの動画生成モデルStable Video Diffusionがリリース 他 / Catch up on AI 2023.11.22