見出し画像

Weekly Report 2024/07/10 (wed)

takio koizumi

個人的に気になったニュースや自主制作などの週報メモです。


自主制作 / 記事

Elemental Anima #0143

ちょうどリリース日が七夕(7/7)でしたので、笹、短冊からパンダをモチーフに制作しました。右上の星がベガ(織姫)、左上の星がアルタイル(織姫)、中心の星は去年制作した織姫と彦星の橋渡しをする"カササギ(#0091)"です。パンダは２年前の七夕で制作した"#0049"の子供です。

[ニュース] AI関連

[動画] 快手 - KLING

遂に動画生成AIのKLINGが扱えるようになりました。精度に関しては、動画生成AIモデルの中で一番高いように思います。残るは一番最初にインパクトを与えたOpenAIのSoraですが、いつ頃使えるようになるか。登録のしやすさ、料金、コントロールの自由度など含めてRunway, LumaAI, KLINGがどのように競争していくか楽しみです。

[動画] 快手 - LivePortrait

とんでもないポートレートアニメーションのAIフレームワークがオープンソースで公開されました。この精度で4090を使用して1フレーム0.01秒で生成はちょっと引いちゃいます。快手は、動画生成AI「KLING」の開発元でもありますし勢いが凄いですね。フェイシャルリグを組む時の参考にもなりそうです。ComfyUIですぐ動かせるので試してみます。

[AIモデル] Odyssey

ハリウッドクオリティの生成AIモデルを目指すプロジェクト。 CG制作のフローにも組み込んでいき、USDのワークフローまでも視野に入れているが興味深いです。このプロジェクトがどの様な展開になっていくのか楽しみです。

[画像] Stability AI - SD3 Medium ライセンスアップデート

個人利用や小規模事業者向けの無料商用利用が、年間収益が100万米ドルを超えない限り無料。このライセンスの更新はありがたいですね。モデル品質の改善したバージョンを数週間以内に公開されるとの事なので、本格的に検証するのはその時にしようと思います。

[動画] lllyasviel - Paints-UNDO

ControlNetやIC-Lightを開発したlllyasvielさんが、自動タイムラプス生成ツールを公開しました。Undoを生成するという考え方や仕組みは凄いのですが、今の所ポジティブな活用のされ方が想像しにくいですね。multi-frame 補間するVideoCrafterのモデルを活用する発想。"結果"から"過程"を生成(中割り)する。lllyasvielさんがどの様な用途を想定し、どの様な思想で開発をしたのか気になります。

[3D] CharacterGen

ポーズのついた画像から、Aポーズ、テクスチャー、ノーマルマップ込みで3Dモデル生成出来るのはありがたいですね。自分の手でブラッシュアップする為のアタリとしては全然十分なので、このアプローチは助かります。そして、早速以下のComfy3Dのアップデートに組み込まれているのも素晴らしいです。

[3D] ComfyUI - Comfy3D アップデート

Comfy3Dのアップデートです。Comfy3Dは予想以上に環境構築が大変すぎたので、シンプルにAuto Install/Build Scriptがありがたいです。他の環境で試してみようと思います。あと、早速CharacterGenを実装してくれているのも最高です。余談ですが、Comfy3Dの環境構築でいつもの環境が全て壊れたことがあるので変えるのが少し怖いですｗ

[動画] Runway - Gen-3 Alpha POV hyper-lapse Prompt

[LLM] CyberAgent - CyberAgentLM3

最近、ローカル環境でのLLMを活用したAI画像生成の仕組みを求められることが増えてきたので、こちらも検証したいのですが時間が・・・

[画像] ControlNet++ - controlnet-union-sdxl-1.0

一つのControlNetのモデルでOpenPose、Depth、Canny、Lineart、Normalが出来るのはかなりありがたいです。色々な企業の環境を統一したりするのが大変なので、こういったモデルは助かります。

[ComfyUI] ComfyUI-Sub-Nodes

ComfyUIのワークフローをHoudiniでのOTLの様に扱えるようになるのでこれは、かなりありがたいかもしれないです。自分のワークフローはアップスケールに特化したワークフローなど細分化しているので、subgraphにしてさらにワークフローを組むのも良いですね。これは可能性が広がります。

[画像] UltraPixel: Advancing Ultra-High-Resolution Image Synthesis to New Peaks

まだコードは公開されてないですが、かなりよさげなアップスケールの技術ですね。公開が楽しみです。

[画像] 快手 - Kolors

快手の画像生成モデルです。こちらが、ComfyUIに実装したものになります。快手の公開の仕方や開発内容なども追っていこうと思います。

[3D] CSM - 3D Asset packs

画像から一貫性のある3Dアセットパックを生成する機能追加。

[画像] Magnific AI - Photoshop Plugin

Magnific AIのPhotoshopプラグインが出ました。あわよくば、Magnificの機能が全てPhotoshopで再現出来たらベストですね。次のAdobeMAX辺りで本気出してくる気がするので、それまではMgnificローカル再現版で耐えようと思います。

[AI活用] Runway Gen-3

モチーフと演出が上手いです。

[ComfyUI] ComfyUI ワークフロー サンプル

アイソメトリックビューは確かにコントロールしやすいですし、素晴らしいワークフローですね。こういうのを組んでみたいです。

[記事] OpenAIがロシア・中国・北朝鮮などサポート対象外の国からのアクセスを無期限でブロックすると発表

[LLM] SenseTime - SenseNova 5.5

SenseNova 5.5がGPT-4oの性能を超えたとの事です。OpenAIの中国ブロックも含めて、中国内のユーザーはこちらに流れそうですね。

[企業] Google for Japan キーノート ハイライト

「AI の力で解き放とう、日本の可能性」をテーマにしたGoogleの基調講演が公開。

[記事] Stability AI - IWFhotlineと提携

Stability AIがIWFhotlineと提携し、インターネットを子どもたちにとってより安全な空間にすることを発表。始めたのはStability AIではありますし、今更と言う視点もありますが、この様な取り組みに向かっていくのは素晴らしいと思います。

[政府] 経済産業省 - コンテンツ制作のための生成AI利活用ガイドブック

この様にまとめて下さるのはとてもありがたいです。しっかり読んで、生成AIを活用してきます。

[ニュース] CG・ゲーム・リアルタイムエンジン関連

[nVidia] OpenUSD Day is coming to #SIGGRAPH2024

[Epic] Unreal Engine 5 VDB


この記事が気に入ったらサポートをしてみませんか？