Catch up on AI

Niji-Journey v6 ついにリリース　他 / Catch up on AI 2024.1.30

Pick upNiji-Journey v6がリリース日本語が出力できるようになったり、より複雑なプロンプトを理解できるようになったり、様々なアップデートがなされた。 Catch up on AIリアルタイム生成AI x スタイリングモバイルを操作するAIエージェント「Mobile-Agent」 Niji-Journey v6は日本語プロンプトでも精度が高いイーロン・マスク氏が率いるNeuralinkが人間の脳に埋め込みをした機器での試験を開始 Niji-J

高品質な大規模3Dモデル「DiffTF」他 / Catch up on AI 2024.1.29

Pick up多様で高品質な3Dオブジェクトを生成するためのモデル「DiffTF」このモデルは、効率的な3D表現、形状やテクスチャの多様性などの課題に取り組んでおり、様々なカテゴリーの3DCG生成において高い性能を有しています。 DiffTF：Large-Vocabulary 3D Diffusion Model Project: https://ziangcao0312.github.io/difftf_pages/ Paper: https://arxiv.org/

安定した動画生成を可能に「FreeNoise」他 / Catch up on AI 2024.1.28

Pick up今までのAnimateDiffなどでは一定のフレーム数を超えると暴れだす、アニメーションの不連続の問題がありましたが、「FreeNoise」はそれを克服し、長時間安定した動画が生成可能になるフレームワーク。 FreeNoise: Tuning-Free Longer Video Diffusion via Noise Rescheduling Project: http://haonanqiu.com/projects/FreeNoise.html arXiv

簡単、着せ替えAI「Diffuse to Choose（DTC）」他 / Catch up on AI 2024.1.27

Pick upECが大きく変わりそうなAIがAmazonから発表。範囲を指定して商品を選ぶだけで着せ替えたり部屋の中に商品を置けたりする生成AIです。 Diffuse to Choose: Enriching Image Conditioned Inpainting in Latent Diffusion Models for Virtual Try-All Project：https://diffuse2choose.github.io arXiv：https://arx

超軽量の3Dガウシアンスプラッティング「C3DGS」他 / Catch up on AI 2024.1.26

Pick up現実世界を忠実に再現できる3Dシーンを生成できる3Dガウシアンスプラッティング。今までサイズの大きさがネックでしたが、かなり軽量化されており、品質も保たれています。 10MBから20MBのサイズで表示できるなら十分実用的な範囲。 Compressed 3D Gaussian Splatting for Accelerated Novel View Synthesis Project：https://keksboter.github.io/c3dgs/ arX

クリエイター×AIの最高峰レベルの動画　他 / Catch up on AI 2024.1.25

Pick up基本はAfter Effectsを利用した動画だが、一部にAIの技術を使って作られた、ほうきにまたがり、魔法を放つスピード感あるムービー。 AIの部分は、Midjourneyで衣服を生成し、Runwayのモーションブラシで服のアニメを生成。使われているのは一部だがAIの可能性を感じる作品 Catch up on AI日本のアニメ音声データセット「Japanese-anime-speech」 MidjourneyのWEB版がアップデートマルチモーショ

AI開発のための日本人プロ声優の音声データセット「moe-speech」他 / Catch up on AI 2024.1.24

Pick up日本人プロ声優による高音質（スタジオ録音）でノイズ・BGM等無しのキャラクター演技セリフ発話音声データセット。1音声は2-15秒のモノラルwavファイル（ほぼ全て44.1kHz、いくつかは48kHz）。キャラクターごとにフォルダ分けされており、現在は合計473キャラクター、約39万の音声ファイル、合計約622時間、368GBの音声が含まれるデータセット。 moe-speech https://huggingface.co/datasets/litagin/

中割り生成AIがさらに進化！Steerable-Motionがv1.2へ　他 / Catch up on AI 2024.1.23

Pick upアニメーションの中割、動画生成AIについては日々技術が進化しており、様々な手法がありますが、Steerable-Motionは2つの画像の間を補完しアニメ化するフレームワーク。そのSteerable-Motionがv1.2となり更に精度がアップしました。 Steerable-Motion Code：https://github.com/banodoco/Steerable-Motion Workflow：https://github.com/banodoc

表情アニメをComfyUIで再現「ComfyUI DragNUWA」他 / Catch up on AI 2024.1.22

Pick upGEN2のマルチモーションブラシをComfyUIとDragNUWAで再現。話題になったアニメキャラクターの表情アニメを再現しています。 ComfyUI-DragNUWA Code：https://github.com/chaojie/ComfyUI-DragNUWA workflow：https://github.com/chaojie/ComfyUI-DragNUWA/blob/main/workflow.json Catch up on AIテスラのFu

NeRFがさらに進化 Zip-NeRFとCamPの両方のコードをリリース　他 / Catch up on AI 2024.1.21

Pick upNeRF特有の細かな破片がクリアに。従来NeRFでカメラ位置推測に利用されているCOLMAPより、遥かに優れておりかなりきれいな3Dシーンが生成可能。 CamP and Zip-NeRF Blog：https://radiancefields.com/camp-and-zipnerf-released/ Code：https://github.com/jonbarron/camp_zipnerf Catch up on AIControlnetやOpenpo

動画生成AI Gen2でアニメキャラの表情まで制御　他 / Catch up on AI 2024.1.20

Pick upGen2のマルチモーションブラシを利用して表情のアニメを生成。マルチモーションブラシになったことで全体の作画が崩れにくくなっているため実現。細かく指定することで、表情までコントロールが可能です。 Catch up on AIAIで表情操作を実写で試す Midjourney v6はデザイン業務に耐えられるか？海外のゲーム開発者は生成AIを50%が利用 Midjourneyで360度VR用画像を生成一貫性が素晴らしいAI動画 Stable Vide

生成AIによる動画は一歩前に！GEN2マルチモーションブラシが全ユーザーに開放　他 / Catch up on AI 2024.1.19

Pick up動画生成AI、Gen2で画像の中の要素を指定してそれぞれにアニメーションを付与できるマルチモーションブラシが全ユーザーに開放。 Catch up on AIマルチモーションブラシを試す鳥編マルチモーションブラシを試すアニメ編喜怒哀楽が表現できるポートレート生成AIモデルマーク・ザッカーバーグ氏がMetaのAIに関する最新情報を投稿機械式アームを利用したAIアニメ Stable Video Diffusion用の、ControlNetのli

ComfyUIでもAIダンス生成「ComfyUI-Moore-AnimateAnyone」他 / Catch up on AI 2024.1.18

Pick upComfyUIで利用できる拡張機能が登場。細かなパラメーターが設定できるため、ComfyUI verの公開は非常にありがたい。 ComfyUI-Moore-AnimateAnyone https://github.com/chaojie/ComfyUI-Moore-AnimateAnyone 本家：Moore-AnimateAnyone https://github.com/MooreThreads/Moore-AnimateAnyone Catch up

ビデオ内の人物を3Dアバターに変換「Motionshop」他 / Catch up on AI 2024.1.17

Pick upMotionshop、はアリババグループが発表した、ビデオ内の人物を3Dアバターに置き換えるフレームワーク。様々な3Dデータに対応しており、頭身が読み込まれる人間と変わっていてもキレイに動きを再現してくれます。 Motionshop Project：https://aigc3d.github.io/motionshop/ Demo：https://modelscope.cn/studios/Damo_XR_Lab/motionshop/summary Ca

2024年1月の記事一覧

Niji-Journey v6 ついにリリース 他 / Catch up on AI 2024.1.30