![見出し画像](https://assets.st-note.com/production/uploads/images/126461206/rectangle_large_type_2_0219fc0dc986daade71762a7a629a4a7.png?width=1200)
Weekly Report 2024/01/03 (wed)
個人的に気になったニュースや自主制作などの週報メモです。
自主制作 / 記事
Elemental Anima #0116
Elemental Anima #0116
— takio koizumi | takion.eth (@takion0105) December 31, 2023
Created by :
takio koizumi (Human) x HAL (AI)
"Happy New Year 2024"
🔽Detail / Link pic.twitter.com/A3SVjDZuiI
明けましておめでとうございます。今年も引き続きAI情報をマイペースにまとめていきますのでよろしくお願いいたします。
年男(辰年)なので気合いを入れました。一昨年、富士山に登頂した際に撮影した雲海やご来光の写真を、HAL(AI)に学習してもらい制作しています。人間とAIにとって重要な年になると感じているので、"2001年宇宙の旅"をオマージュして、青龍との"HAL9000"が見守っているようにしました。他にも沢山モチーフを入れておりますが長くなるのでこの辺で。
能登半島地震により被害に遭われた方々に心よりお見舞い申し上げます。
今作"Elemental Anima #0116"と、復興の祈りを込め現在制作中の作品の売上分を、令和6年能登半島地震 緊急支援募金(Yahoo!基金)に寄付させていただきました。
[ニュース] AI関連
[動画] Tencent - MotionCtrl: A Unified and Flexible Motion Controller for Video Generation
MotionCtrlが出来るとかなり可能性が広がりますね。AnimateDiffやSVDなどにも導入できるとの事なので、ControlNetレベルで汎用性の高いものになりそうです。すでにComfyUIでの実装されている方も居ましたのでタイミングを見て検証したいと思います。
[音楽] Tencent - M2UGen
音楽のマルチモーダルモデルが出ました。音楽を高精度にキャプショニングできつつ、テキスト、画像、動画から音楽の生成・編集が出来ています。HuggingFaceで連絡先を入れればデータセットにアクセスできるので、興味がある方は是非。
[モーション] Tencent - MotionGPT: Human Motion
as Foreign Language
テキストで対話しながらモーションを制作していくワークフローが面白いですね。デモも分かり易く、声でのインプットも対応しているので未来のCGワークフローを体感できますね。とりあえず、FBXを出力させてください。そして、MotionCtrlやM2UGen、MotionGPTといいテンセントもアウトプットし始めましたね。
[3D] Spacetime Gaussian Feature Splatting for Real-Time Dynamic View Synthesis
時間を含めたGaussian SplattingのシーンをRTX4090環境で8K60FPSでリアルタイム描画。CyberPunk2077のBDのようですね。2024年はGaussian SplattingとNeRFが重要な年な気がしています。
[動画] Alibaba - DreamTalk
次はSadTalkerをアップデートしてリプレイスしようとしている感じですかね。Automatic1111などでよく活用されている技術を上位からAlibabaが手を出しているようなw 的確な動き過ぎます。
[画像] Alibaba - AnyText
テキストと漢字、カタカナ、日本語も解決しようとしています。カスタムフォントもAIで生成出来るようになりそうですね。
[モーション] InsActor: Instruction-driven Physics-based Characters
物理ベースのキャラクターをテキストで動かすのかなり楽しそうですね。コントローラーを使わず声やテキストでキャラクターを動かせたら、今までと違う体験が出来そうです。可能性を感じますね。物理ベースな挙動は可愛いし、面白い。
[モーション] MoMask: Generative Masked Modeling of 3D Human Motions
モーション系が増えている中で、デモとコードが公開され、頭身もバリエーションが多いのはありがたいですね。これは実際に触ってみたいと思います。
[動画] StreamDiffusion 活用
🌙✨🖼️ 🪶🗝️#realtime #generativeart #streamdiffusion
— Lyell (@dotsimulate) December 31, 2023
(Watch with sound)
Made in @1null1 pic.twitter.com/70npJv8iMC
StreamDiffusion×VJはかなり相性がいいと思っていたので、このアプローチは素晴らしいですね。
[画像] Leonardo.AI - Realtime Gen 公開
Realtime Gen is now LIVE for all users ⏱️
— Leonardo.Ai (@LeonardoAi_) December 31, 2023
Type and watch your prompt get rendered instantly. Tweak Loras in realtime, and adjust styles. Upscale in one click 🚀
Find it in the left menu as Realtime Gen. pic.twitter.com/NKjVOvehIx
Leonardo.AIもリアルタイム生成機能を導入しましたね。リアルタイムでLoRAやスタイルを調整できるのはかなり便利そうです。
[画像] HandRefiner
今までもControlNetを駆使して手や指は直すことは出来ましたが、これは近いうちにExtentionに入りデフォルト機能のようになりそうですね。
[動画] I2V-Adapter: A General Image-to-Video Adapter for Video Diffusion Models
このVideo Diffusion Modelは、既存の技術と互換性が高すぎるのでこちらも実際に触ってみようと思います。
[動画] 新しい動画系サービス - Assistive
Introduce Assistive Video, the generative video platform for creating videos from text and images.
— Assistive (@assistiveapp) December 27, 2023
Simple type what you want to see and watch your ideas come to life.
It's available starting today on the web, and via API. Start creating at https://t.co/oEBgzEtn2g pic.twitter.com/AT2mDt39u2
動画系でAPIも用意しているサービスは珍しいですね。
[企業] KDDI、生成AI活用の「三太郎」テレビコマーシャル 新年から
[企業] au - さぁ、何やる?メーカー
[企業] au - 屋根裏のラジャー”MYイマジナリーメーカー”
KDDI、auががっつり生成AIを活用してきましたね。もう勢いで行ってしまおう感がすごいです。他のキャリアもついていくのか気になります。批判なども含めて動向を追っていこうと思います。
[記事] ブラックボックスの生成AIリスク、政府が研究拠点…文章や画像を作り出す仕組み解明
[記事] 生成AIの登場が「アーティストとは何か」「創造性とは何か」を問い直す契機に:『WIRED』日本版が振り返る2023年(生成AIとクリエイション編)
3年前に生成AIに触れてから問い続けてきました。自分の哲学と趣味嗜好、思想とマッチしたクリエイティブが出来つつあるので今年はさらに拡張して行ければと思います。
[ニュース] リアルタイムエンジン関連
[レポート] Bandai Namco - CEDEC 2023 資料
安藤忠雄設計の「光の教会」の動画をフル3DCGでつくりました!
— Yuta Horie (@H_Y_per) December 27, 2023
動画を通して名建築の魅力が少しでも多くの方に伝えられたら嬉しいです◎
使用ソフトはBlender、Unreal Engine5、Davinch Resolveと全て無料のソフトです。すごい時代になったものだ…!#3DCG #b3d #UnrealEngine #UE5 #DaVinciResolve pic.twitter.com/uU2cI4HHT3
安藤忠雄設計「光の教会」好きなので感動しました。この空間を自分で動きたいです。
この記事が気に入ったらサポートをしてみませんか?