Catch up on AI

ついに生成AIの文字の問題が解決!?「AnyText」他 / Catch up on AI 2023.12.31

Pick up日本語や漢字などを生成AIで出力しようとすると、文字化けしたようになり可読性が全くない文字が生成されていた問題を解決する「AnyText」。漢字だけでは無くて、カタカナなども日本語にも対応。これはさらなる進化に期待したい！ AnyText: Multilingual Visual Text Generation And Editing Code：https://github.com/tyxsspa/AnyText?tab=readme-ov-file#in

画像から高品質な動画を実現「I2V-Adapter」他 / Catch up on AI 2023.12.30

Pick up画像から動画を生成可能なI2V-Adapter。 ControlNetと組み合わせると、ダンス動画なども生成可能。様々な可能性を秘めた技術です。まだコードなどはComingSoonとなっています。 I2V-Adapter: A General Image-to-Video Adapter for Video Diffusion Models project: https://i2v-adapter.github.io/index.html paper: ht

ダンス生成AIの「DreaMoving」がデモを公開！他 / Catch up on AI 2023.12.29

Pick upアリババが、 Hugging Face上で動作するダンス生成AI「DreaMoving」を公開しました。画像とモーションを選択するだけでスムーズなダンス動画が生成。 DreaMoving Demo https://huggingface.co/spaces/jiayong/Dreamoving Catch up on AI 一貫性の動きがある3DCGが生成可能「4DGen」時間情報も持った8K60fpsの3Dシーンを生成「Spacetime Gaussi

主要な動画生成AIの同一条件でのアウトプット検証　他 / Catch up on AI 2023.12.27

Pick upGoogle VideoPoetと、代表的な動画生成AIの、Runway、Pika、Genmoによる動作の比較をまとめたデモ動画。画像+プロンプトで様々な生成対象での検証が行われています。 AIによっても大きく特徴が分かれる。特性を理解してアウトプットイメージが事前に描けるようになると強い。 Catch up on AIAIアニメにも演出を！演出カットを入れるだけで劇的にクオリティが変わる動画生成AIのカメラを自在にコントロール「MotionCtrl」

手書きの落書きから3Dモデル生成　他 / Catch up on AI 2023.12.26

Pick upCSMで、手書きのラフなサンタクロースを一度、3Dモデルで描かれたような2Dイラストで生成して、さらにそれを3Dにするワークフローで制作せれたサンタクロース。このワークフローは3Dがかなり民主化しそう。 CSM https://3d.csm.ai/ https://discord.com/invite/csmai Catch up on AIダンスAIサービスが国内から AI Picassoから「AIダンス」β版がリリース同じ服装でポーズだけ変える生

人間以外のOpenposeを検出「ControlNet AnimalPose」他 / Catch up on AI 2023.12.25

Pick upControlNetのOpenPoseが、人間以外のポーズデータの作成のサポート。まだ尻尾が上手くデータに反映されないなど甘い部分はあるみたいですが、今後に期待の技術です。 ControlNet_AnimalPose code：https://github.com/abehonest/ControlNet_AnimalPose Modelcard：https://huggingface.co/huchenlei/animal_openpose Catch u

AI動画生成の長尺動画問題を解決「LongAnimatediff」他 / Catch up on AI 2023.12.24

Pick upAnimateDiff v3に続き、「LongAnimatediff」がリリース。モデルは32フレームと64フレーム用の2モデルとなり、64フレームモデルは64フレーム生成すると絵が崩れるため、現状では64フレームモデルで32フレームで生成することが最も良い結果が得られるようです。 LongAnimateDiff Project：https://github.com/Lightricks/LongAnimateDiff/ modelcard：https:/

生成画像に驚異的な一貫性を持たせる「DreamTuner」他 / Catch up on AI 2023.12.23

Pick upByteDanceがリリースしたDreamTuner。画像をテキストで操作する際に一貫性を保てない問題がありましたが、DreamTunerではその問題を解決できる可能性。 DreamTuner: Single Image is Enough for Subject Driven Generation Project：https://dreamtuner-diffusion.github.io Paper：https://arxiv.org/abs/2312.1

1秒間に100枚生成可能な生成AI「StreamDiffusion」他 / Catch up on AI 2023.12.23

Pick upStreamDiffusion は、100fpsという超高速で画像生成できる生成AI。速度が全てを解決する訳では無いが、ここまで速度が上がると使い方やバリューの根本が変わる良い例。画像生成AIはまた異なるフェーズへ入りました。次はどんな進化をするか楽しみです。 StreamDiffusion: A Pipeline-level Solution for Real-time Interactive Generation arXiv：https://arxiv

テキストで動画を変換・操作できる「VidToMe」他 / Catch up on AI 2023.12.21

Pick upテキストで動画を変換・操作できる「VidToMe」。ローカルで動作し、オープンソースで提供されるため非常に使い勝手が良く、気軽に使える動画生成AI。video2videoを気軽に楽しめます。 VidToMe: Video Token Merging for Zero-Shot Video Editing Project：https://vidtome-diffusion.github.io arXiv：https://arxiv.org/abs/2312.10

SDXLが更に進化！「DPO-SDXL」他 / Catch up on AI 2023.12.20

Pick upSDXLの精度をさらに向上させた、DPO-SDXL登場。かなり人間の頭の中で思い描くものと近づいてきた。人間の描写も細部上がっており、手、歯、目線など細部のクオリティが向上している。 DPO-SDXL arXiv：https://arxiv.org/abs/2311.12908 dpo-sdxl-merged ：https://huggingface.co/dataautogpt3/dpo-sdxl-merged SDXL-DPO: https://hugg

300m2もの大規模フォトリアルなNeRFが簡単に「SMERF」他 / Catch up on AI 2023.12.19

Pick up300m2もの大規模なシーンに対応したフォトリアルなNeRFが構築できる技術「SMERF」　が登場。 Codeは、Coming Soonとなっていますが、これが手軽に生成ができるならこれは凄い進化だ！ SMERF: Streamable Memory Efficient Radiance Fields for Real-Time Large-Scene Exploration Project：https://smerf-3d.github.io arXiv：

映像から3Dシーンをリアルタイムに再構築「Gaussian-SLAM」他 / Catch up on AI 2023.12.18

Pick up3D Gaussianでも驚きでしたが、Gaussian-SLAMは映像から、リアルタイムに3Dシーンを生成する技術。学習なしで、映像のみで3Dシーンの構築は凄まじい進化。 Gaussian-SLAM: Photo-realistic Dense SLAM with Gaussian Splatting Project：https://vladimiryugay.github.io/gaussian_slam/ Paper：https://ivi.fnwi

超高品質のAIアニメを簡単に生成「DomoAI」他 / Catch up on AI 2023.12.17

Pick up一貫性のあるAIアニメがDiscordだけで簡単に生成できる「DomoAI」。AIアニメには様々な方法がありますが、これは現時点で最も手軽に高品質なアウトプットを得られる方法の一つ。 DomoAIの利用方法は以下からDiscordに参加。Generate-videoチャンネルで「/video」で生成。 DomoAI https://discord.gg/TrZBzj4x Catch up on AI画像生成AIから3DCGを制作するワークフロー生成AI

2023年12月の記事一覧