![見出し画像](https://assets.st-note.com/production/uploads/images/141151709/rectangle_large_type_2_8c77b023d9ee9c0758a5e3f87752165a.png?width=1200)
AI Weekly Report 2024/05/19
こんにちは。and_dという団体に所属している梅津です。
前半戦のレクチャーは一旦終わり
— Yugo Umezu (@xoboy1251) May 11, 2024
レクチャーで取り扱った生成AIはSD Comfy UI / Replicate / Midjourney / Firefly / Krea AI / Tripo SR など様々…笑
後半戦は実際に触ってみてどれだけできるかが鍵! pic.twitter.com/SGs7n7N35i
and_dのメンバーには、日々情報共有を行っていますが、これを機に個人的に気になるAI関連のニュースを週ごとにまとめてみることにしました。三日坊主にならないよう、継続を目指して頑張ろうと思います!
【NEWS】Chat GPT-4o
この1週間は「GPT-4o」の話題で持ちきりだったのではないでしょうか。
OpenAIが新たに発表した「GPT-4o」は、テキスト、音声、画像、映像をシームレスに扱えるAIモデルです。このモデルは、自然なテンポでリアルタイムの音声会話が可能で、視覚と音声の理解力が向上しています。
特に、応答速度が速くなったのとより自然な音声会話が可能になったことが印象的でした。
【ComfyUI】GPT-4oを組み込み、LLMの視覚機能を実現
![](https://assets.st-note.com/img/1716112097445-Hu3dn9yKwW.png?width=1200)
新しい技術が出た時に、すぐに対応するところがComfyUIの好きなところです。GPT-4oを組み込めば、画像生成がより一層楽になりますね。
【ComfyUI】IC-Light
IC-Light + AnimateDiff で動画に対して法線マップを生成し、UE5でrelightするテスト
— 麻場 健司/MocapFor(Streamer|All)開発 (@KenjiASABA) May 15, 2024
だいぶ一貫性のある法線マップができた
AnimateDiffの使い方があっているか自信はない… https://t.co/nrKGtvND9m pic.twitter.com/ls9CvaGRGZ
IC-Lightもここ最近、一番の衝撃でした。画像生成をしてる際にライティングがおかしくなってしまうことが多々あるのですが、これを使えばより整合性のある画像が生成できます。
建築情報学会MeetUpの時に知ってからすごい人だとは思っていましたが、さすが麻場さんって感じです笑
【Movie】AIを3Dレンダリングで使用する
The fun part of my AI 3D rendering workflow is that you can create individual prompts for each object, giving you maximum flexibility and control.
— Mickmumpitz (@mickmumpitz) May 13, 2024
This will be even easier in the next version! pic.twitter.com/FCSm72KfbA
AIを活用したクリエイティブ分野の参考例です。こういう使い方は積極的に取り入れていきたいですね。
【3D】Coin3D
今、自分がComfyUIでやろうとしていることがCoin3Dで研究されていてとても共感しました。
リアルタイム3D生成ももうすぐっぽいですね。
【3D】CAT3D
![](https://assets.st-note.com/img/1716114740118-ebcCZA3a24.png?width=1200)
既存の画像の情報を使って、異なる角度から見た場合の画像を高精度で予測し、生成された画像を使って3Dモデルを構築しています。これには、NeRF(Neural Radiance Fields)や3D Gaussian Splatsなどの技術を使用してるみたいです。
【3D】CSM
Users called us out when we said our model took 30s but it really took a couple minutes. Well now it actually takes 30 seconds.
— Common Sense Machines (@CSM_ai) May 17, 2024
Live on: https://t.co/LE3mktzCwu pic.twitter.com/pOStanngns
CSM「Image to Model」の精度が上がったみたいなので、時間があれば試してみようと思います!
最近、3D生成AIの発展がより盛んになってきている気が…笑
【3D Space】Behavior Vision Suite
![](https://assets.st-note.com/img/1716112860601-K2cnNTQO7h.png?width=1200)
Behavior Vision Suite(BVS)は、AI技術を利用して高品質な3Dモデルやシーンを簡単に生成できるツールキットです。
ControlNetを常日頃使っている自分としては、シーンやオブジェクトをSegment/Depth/Normalで読み取っているところはなるほどな、と思いました。また、アノテーション付きのデータを用いてAIモデルをトレーニングすることで、シーン内のオブジェクトを認識し、その状態や位置関係を理解できるようにしてるみたいです。
ご案内
最近は生成AIを活用することでスタディをいかにクリエイティブにできるかを考えています。
また、画像生成AI活用やワークショップも多く承っていますので、お気軽にご相談ください!
ComfyUIでここまでできるようになった!
— Yugo Umezu (@xoboy1251) May 17, 2024
生成AIで家具を3DモデルにしてRhinoに配置
その後に画像生成することでより効率的なスタディが可能に! pic.twitter.com/8lTIw7Kz04
Rhinoビューを同期して、リアルタイム画像生成できるところまできた
— Yugo Umezu (@xoboy1251) May 9, 2024
Comfy UI楽しい、ここからは画像の精度上げるための努力をしないと…笑 https://t.co/mVMMyPuf3m pic.twitter.com/Q7XjLGCMJX
この記事が気に入ったらサポートをしてみませんか?