見出し画像

Weekly Report 2024/11/13 (wed)

takio koizumi

個人的に気になったニュースや自主制作などの週報メモです。


自主制作 / 記事

Elemental Anima #0161

今作は、デザインフェスタの時期に毎回制作しているプレゼント用の作品です。前回同様、過去に母と制作したバラの写真の作品"Heart #1"をHAL(AI)に学習してもらい制作しています。世界に"優しさ"と"愛"が生まれ、広がっていって欲しいという願いを込めて、イースターエッグの中のエフェクトを花の様に表現しました。いつも応援してくれているホルダーさんが今作を受け取った時に少しでも温かい気持ちになってくれたらと思います。
作業BGM：スピッツ『見っけ』

[お知らせ] デザインフェスタ vol.60 お品書き

かなりギリギリになってしまいましたが、お品書きが完成しました！ご興味がありましたら是非遊びに来てくださいませ！

[映画] 「ロボット・ドリームズ」 舞台挨拶付先行上映会

自分の人生にとって大切な作品になりました。本当に素敵な作品でしたので、ご興味がありましたら是非観に行ってみて下さい🤖🐶

[ニュース] AI関連

[動画] DimensionX: Create Any 3D and 4D Scenes from a Single Image with Controllable Video Diffusion

画像から動く3Dシーンを生成するAIモデルです。depthを活用して画像を動かすアプローチが昔から好きで色々追ってきたので、ここまで来て感慨深いです。また、DimensionXのモデルは、kigaiさんのCogVideoXWrapperでComfyUI上で動かせるのでご興味がありましたら是非。

[動画] ByteDance - X-Portrait 2

凄い表現力です。Liveportraitも含めてフェイシャルアニメーションの分野はどんどん精度が上がっていきますね。

[モーション] Cyanpuppets v1.6 

Cyanpuppetsの個人クリエイターが無料で使用可能なバージョン1.6がリリースされました！今の仕事が落ち着いたら、色々検証してみようと思います！

[動画] FLORA - Video generation

FLORAで主流の動画生成サービスがまとめて使えるようになりました。ノードベースなUIと月額128ドルで使い放題プランがあるのが素晴らしいですね。AnimateDiff系もあるので、使い勝手次第にはありかなと思います。

[動画] CogVideo - CogVideoX1.5-5B-SAT

オープンソース動画生成モデルCogVideoX1.5が公開されました。もう、ストレージが限界です。CogVideoXはTora (Trajectory)でモーションコントロールが出来るのが強いですね。

[動画] Faster Cache + Mochi

先週紹介したFaster CacheがMochiでも動作するようになったそうです。848*480px 163framesの動画生成時間が320秒から184秒に。実装が楽しみすぎます。

[画像] Black Forest Labs - FLUX1.1 [pro] Ultra and Raw

Fluxはとんでもないことになってますね。今回の機能もAPI経由のみになっています。Black Forest Labsはビジネスが上手いですね。

[LLM] Vidu - Adaptive Caching for Faster Video Generation with Diffusion Transformers

Vidu-1.5がリリースされるとの事です。動画生成周りだと、720pと1080pの高解像度生成、モーションコントロール、プロンプトの理解度がかなり向上したそうです。

[画像] BRIA AI - RMBG-2.0

背景を削除するモデルRMBGのv2.0が公開されました。シンプルに色々な所で活用しているのでありがたいです。Huggingfaceのデモもあるので、興味がありましたら試してみて下さい。

[画像] ByteDance - SeedEdit

ByteDanceからSeedEditという画像修正・編集モデルが出ました。MJのRetextureやnVidiaのAdd-itなど、画像生成系は修正・編集機能を強くしていく方向になり始めましたね。

[動画] Google - Fashion-VDM

Virtual Try-Onの動画に対応したフレームワークが発表されました。これをきっかけにバーチャル試着系の動画アプローチも増えそうですね。サービスで活用するには重そうですが、ファッションショーのAI生成する際のVideo to Videoに活用すれば服の一貫性も保てて良さそうです。

[3D] Tencent AI - StdGEN

１枚の画像から3Dアニメ系キャラの3D生成するフレームワークです。パーツ分けまで出来ているので来年はどうなる事か。

[画像] nVidia - Add-it

トレーニング不要で画像に対してオブジェクト挿入するフレームワーク。nVidiaの開発内でもFLUX.1-devを活用しているんですね。シンプルに活用の幅も広いので、モデルの公開とComfyUIの実装が楽しみです。

[画像] KREA AI - AI training + Flux 1.1 Pro Ultra

KREA AIでLora制作とFlux 1.1 Pro Ultraの使用が可能になりました。KREA AIのフットワークの軽さは素晴らしいですね。

[画像] Freepik - Custom Characters + Tunes +Video 

Freepikの勢いが凄いですね。LoRA、音楽、動画、AI系サービスの中で一番総合力の高いサービスなんじゃないかと思います。

[画像] ShakkerAI - IP-Adapter for FLUX.1

モデル公開をよろしくお願いしますー！

[3D] ComfyUI - Comfy3D

Comfy3Dはアップデートが難しいので控えてましたが、Hunyuan3D-1が対応されたので今回はアップデートしようと思います。

[画像] ComfyUI - Flux Region Attention

先週紹介したFlux Region AttentionをComfyUIに実装されている方が居ました。ワークフローの組み込みに悩んでいたので、助かります。

[3DGS] AutoVFX: Physically Realistic Video Editing from Natural Language Instructions

3DGS空間でのエフェクトもだんだんクオリティが上がってきましたね。

[ComfyUI] CCS Comfy Community Summit Tokyo

東京で開催されるComfyUIのイベントです。ComfyUIユーザーとして登壇のお誘いがありましたが、今回はデザインフェスタと被ってしまったのでお断りさせていただきました・・・。ComfyUIユーザーの方でご興味がありましたら是非。

[AI活用] 子供たちの将来の夢のビジュアライズ化

将来の夢を叶えた自分の姿をイメージが出来るというのは嬉しいですね。とこれは素敵なアプローチだと思いました。

[画像] nVidia - Edify Image

ピクセル空間ラプラシアン拡散モデルによる高画質画像生成。360 HDR panorama generationは凄いですね。

[LLM] SB Intuitions、日本語に特化した4,000億クラスのパラメータを持つモデルを公開

推奨ハードウェア16x H100、16x A100 80GB。あわよくば公開する際には、量子化してギリギリ4090ぐらいで動かせるように最適化されたモデルもあると大変助かります。

[ComfyUI] ComfyUI RyanOnTheInside

ComfyUI内でParticleを扱えるノードが入っているカスタムノードです。なんとなく、このままいくとTouchDesignerのように進化する未来も見えてきましたね。

[AI活用] The world's first 3D replica of St. Peter's Basilica, made with Microsoft AI

とんでもない精度のサン・ピエトロ大聖堂の3Dレプリカです。

[AI活用] ComfyUI+CogvideoX+DimensionX lora

DimensionXのモーションコミックへのアプローチは上手いですね。

[ロボット] DEEP Robotics

このロボットの機動性は凄すぎますね。今まで見てきたロボットの中で一番機動性が高いです。

[LLM] nVidia - Megatron-LM を用いた日本語に強い 172B 大規模言語モデルの開発

最近はComfyUIでLLMをかなり活用しているのですが、重すぎてVRAMを解放するノードを都度都度使用しないといけないので、ある程度の精度で軽量化したモデルも欲しいですね。

[記事] ソフトバンク、基地局にNVIDIA製チップ--余った計算能力で「AIデータセンター」構築

このアプローチは面白いですね。自分も生成と学習以外の時はマイニングをしていたりします。これが民間のデバイスも参加できて、報酬ももらえるサービスになったら嬉しいですね。

[ニュース] CG・ゲーム・リアルタイムエンジン関連

[カンファレンス] Cygames Tech Conference 2024 11/16-17

[Epic] Unreal Engine 5.5

いいなと思ったら応援しよう！