見出し画像

Weekly Report 2023/12/27 (wed)

takio koizumi

個人的に気になったニュースや自主制作などの週報メモです。


自主制作 / 記事

Elemental Anima #0115

今年の干支と冬至をモチーフにしつつ、ほんのりクリスマス感を意識して制作しました。家にあるクリスタルや氷を反射させて撮影した素材、過去にHoudiniで制作した雪の素材をHAL(AI)に学習してもらいました。2024年も良き未来に向けてHAL(AI)と共に作品を制作していこうと思います。

[ニュース] AI関連

[NeRF] 4K4D: Real-Time 4D View Synthesis at 4K Resolution - コード公開

かなり前に紹介した4K4Dのソースコードが公開されました。公開されないと思っていたので嬉しいです。色々な制作においてもかなり応用の利く技術だと思うので正月休みで研究したいと思います。

[画像] Midjourney V6 Alpha

Midjourney V6 Alphaが使えるようになりました。ゼロから訓練した新モデルとの事です。実際に使ってみた所、かなりリアルになり、クオリティを上げる為のプロンプトを使用せずともクオリティの高い画像が出るようになりました。Midjourneyは技術やUI、サービスとしてのアプローチとして興味深いので追い続けますが、基本的にはローカルのオリジナルモデルで生成していきます。

[動画] Google - VideoPoet

Googleも動画系に参戦しました。まだ使用できませんが、デモの動画を見る限りかなり動画生成系の中でも一番クオリティが高いんじゃないかと思います。リリースが楽しみです。

[3D] nVidia - Text-to-4D with Dynamic 3D Gaussians and Composed Diffusion Models

textからモーション込みの3D Gaussianを生成してます。nVidiaさん、ちょっとこれはやりすぎですね。

[NeRF] SpecNeRF: Gaussian Directional Encoding for Specular Reflections

[NeRF] SMERF: Streamable Memory Efficient Radiance Fields for Real-Time Large-Scene Exploration

SpecNeRFにより、NeRFの苦手だった鏡面反射が改善され、SMERFでiPhoneでもリアルタイムで描画できるようになったり、来年はNeRFやGaussian Splattingの応用が重要な年になりそうですね。

[NeRF] jawset - postshot

After EffectsでNeRFとGaussianを直接レンダリングできるのは凄いですね。このサービスは、大きくなりそうな予感がします。

[3D] Scene-Conditional 3D Object Stylization and Composition

2Dのイメージに3Dオブジェクトをなじませる論文です。これは実用化されたらかなりありがたいですね。

[画像] Alibaba - SCEdit

Alibabaがまたやってますねｗ ControlNetの改良版のようです。マルチControlNetにも対応されていて、生成速度が向上し低VRAMとの事なのでリリースが楽しみです。

[3D] 3D Gaussian SplattingデータをUnreal Engineで動的な影に対応した描画可能なプラグイン「Vista Splat Pro」販売開始

この様な展開になっていくんですね。デジタル・フロンティアも関わっているとの事なので、近々NeRFやGaussian Splattingを活用したPVや映像制作、CG WORLDでメイキングを公開。NeRF特集までみえました。

[動画] Stable Video Diffusion Temporal ControlNet

SVDでControlNetの様なアプローチが出始めましたね。今はDepthのみですが、Poseなども使えるようになったらかなり表現の幅は広がりそうで楽しみです。

[動画] LongAnimateDiff

AnimateDiffの一貫性を保ちつつ64フレーム生成出来るモデルがリリースされていました。

[動画] Runway Gen-2 Ambient Motion for Motion Brush

Motion Brushに対して更に、Ambient強度をコントロールする機能が追加されていました。Runwayはユーザーが望む機能をシンプルなUIで追加してくるのが素晴らしいです。

[画像] StreamDiffusion

100fps以上での画像生成が可能なStreamDiffusionが公開されました。この速度の活用方法が気になりますが、速度を目指すのはRTAのようで楽しそうです。GPUだけでなく、CPU、SSD、OSはLinuxにしたり、最速ベンチマークランキングも欲しくなってきますねｗ

[講座] 松尾研究室 - LLM 大規模言語モデル講座 2023コンテンツ 公開

東大の松尾研究室から、冬休み前に素晴らしい資料が公開されました。

[政治 / 法] 文化庁 - AIと著作権に関する考え方について（素案）

[ニュース] リアルタイムエンジン関連

[レポート] Bandai Namco - CEDEC 2023 資料

[Unity] Unity Learning Materials - CEDEC2023 講演動画・スライド公開

[UE] Unreal Fest Gold Coast 2023 - Stylized Rendering Insights from Japan

[UE] Epic Online Services - EOS Deep Dive 2023 資料公開

[UE] UE5の最新グラフィクスを使いこなすための4個の勘所

[UE] Unreal Engine 5を活用した映画制作について


この記事が気に入ったらサポートをしてみませんか？