見出し画像

Weekly Report 2024/02/07 (wed)

takio koizumi

個人的に気になったニュースや自主制作などの週報メモです。


自主制作 / 記事

Elemental Anima #0121

過去に制作した”インクの写真作品"をHAL(AI)に学習してもらい制作しました。前作に引き続き"哀れなるものたち"をオマージュした作品です。今作は自分の好きな要素を入れ込んだので制作していて楽しかったです。原作のアラスター・グレイ自ら描いた表紙のエッセンスも取り込んでいます。ロールシャッハテスト的に様々な見方が出来るよう制作しました。[要素] ヒト, 兎, キメラ, The Favourite, Poor Things, Rorschach, 臓器, 性器, 泡, 青のドレス, 涙

展示のお知らせ

[メモ] PlayStation - State of Play

最高過ぎました。特にデススト2のトレーラーやサイレントヒルの体験版、小島監督の新作。今はちょっとゲーム離れてしまっていますが、サイレントヒルの体験版は近々実況プレイしようと思います。

[ニュース] AI関連

[動画] BRIA AI - Background Removal

シンプルに切り抜き精度が高くてちょっと引きました。Hugging Faceのデモですぐ使えるので一度だけ切り取ってみてください。非営利のオープンソースモデルです。

[動画] Deforum studio - beta

deforumの動画生成サービスがようやく出ました！自分は2015年にGoogleがリリースしたDeepDreamの"人間には出来ない新しい表現"に感動したのがきっかけで生成AIに興味を持ち始めたので、VQGANやDiscoDiffusionの時からDeforumの様な表現が大好きでした。Runway Gen-2などの動画生成は再現・模倣・効率化には便利ですが、個人的にdeforumの方が新しい表現の可能性を感じるのでこのサービスで認知が広がって欲しいですね。Apple Visionをゲットした時に一番試したいのはハンドパンの音楽に合わせてdeforumで生成した360度空間でマインドフルネスをする事です。

[3D] Gaussian Splashing: Dynamic Fluid Synthesis with Gaussian Splatting

以前3DGSがリジットで破壊されたり、砂になるアプローチはありましたが、流体とのコリジョンと変形も出来るようになりましたね。これはかなり可能性が広がりますね。JangaFXのEmbergenや来週アルファがリリースされるLiquidGenなども3DGSが読めるようになったらかなり面白いことになりそうです。

[3D] VR-GS: A Physical Dynamics-Aware Interactive Gaussian Splatting System in Virtual Reality

3DGSをソフトボディ化してリアルタイムでインタラクションしてます。ヒューマン フォール フラットなどゲームにおいての物理ならではの楽しさがあるので、VRでこれが出来るのは楽しそうです。あとは、3DGS化されたフィギュアやアバターなどで・・・

[動画] InteractiveVideo

Inpaint+Prompt+DragGanそれぞれを組み合わせて、動画生成において多様なコントロールが出来るようになっていますね。コードも公開されている上に、WEBUIやdemoも用意されていて至れり尽くせりですね。少し検証してみようと思います。

[モーション] CEB 4D Humans 1.0 beta Free Version

以前紹介した動画からモーションキャプチャーが出来るWHAMをBlenderのAddonで動かせるようにしたCEB 4D Humans 1.0 betaのFree Versionが出ました。導入も分かり易くまとまっているので興味がありましたら是非。

[画像] Apple - Guiding Instruction-based Image Editing

自然言語のプロンプトで画像の編集。以前共有した3D Gaussian SplattingのPaperといい、Appleも色々情報を出し始めましたね。しかも、今回はDemoとコード付きです。ですが、LLaVAを活用している辺りApple内でのマルチモーダルモデルはまだという感じでしょうか。Apple Visionも発売されたので今後のAIを含めた動きが楽しみです。

[画像] lllyasviel - stable-diffusion-webui-forge

ControlNetを開発したlllyasvielさんの新しいWebUI forgeです。説明を読む限り、本当にざっくりですが生成がめちゃくちゃ早くなるとの事です。SDXL+ControlNetは約30-45%、VRAM16GBのGPUでは約60-75%など。AutoのExtentionなど含めて移行できるか調べようと思います。Stability Matrixに入らないかなぁ

[動画] DynamiCrafter - high-resolution models 公開

SVDやPikaよりモーション精度が高く、解像度も高くなっているのでこちらも一通り検証してみようかと思います。

[動画] Stable Video Diffusion v1.1 - 1024x576

SVD Image-to-Video 25 framesを1024x576でファインチューニングしたアップデートしたモデルがリリースされていました。ワークフローは組んであるので、こちらもテストして資料をまとめます。

[3D] Wonder Dynamics - Wonder Studio Point Cloud

これは便利ですね。ポイントクラウドによりトラッキングもしやすくなるので。なんだかんだでコツコツアップデートしてますね。

[画像] Google - ImageFX

Imagen 2ベースの画像生成AIツールがGoogleから出ました。まだ日本からはアクセスできませんが、使っている方のデモを観るとUIがとても分かり易いので触ってみたいですね。

[3D] MrForExample - ComfyUI-3D-Pack

ComfyUIで3D生成した上で、ノード内で3Dビューワーまで対応してます。こういうことはAutomatic1111では出来ないので、ComfyUIはやっぱり強いですね。

[3D] Meta - ReplaceAnything3D

先週紹介したTencent - TIP-EditorのMetaバージョンですね。どちらかと言うとこっちの方が精度は高そうですね。Metaの業績もめちゃくちゃ良かったので、Unityを買収しMetaのAIをフル活用したオープンソースプラットフォームのメタバース空間を作ってください。俺たちのOASISをお願いします

[動画] Anything in Any Scene Photorealistic Video Object Insertion

かなり自然にコンポジットしてくれて、デモもよく見ないと気づかないですね。バレ消しや要らないものを変えたり色々活用できると思いますが、逆に手軽に高精度で動画を改竄できるのは別の問題も出てきそうですね。とりあえず、UAP動画だらけになるかもですねｗ

[活用] Guns N' Roses - The General (Official Music Video)

リンキンパーク、ローリングストーンズに続きガンズのMVにまで生成AIを活用されてますね。しかもDeforum方向の質感なので、少しトリッピーな表現と相性がいいのかもしれないです。個人的にはちょっとやりすぎな表現が多いな思いましたが。

[画像] OpenAI - C2PA in DALL·E 3

生成した画像にC2PA仕様のメタデータが含まれるようになりました。正直この機能はDALL·E 3と同時期に出せてればよかったと思います。今はメタデータを消すことも可能ですが、大きな一歩ではありますね。OpenAIはWorldCoinなどブロックチェーンも触れているので、生成画像の情報を改竄出来ない記録と管理が出来るようにしてほしいですね。

[半導体] 熊本第2工場、年内に着工　半導体製造、トヨタも出資―台湾TSMC

素晴らしいですね。TSMCの株を買い増ししようか考えます。

[記事] 仮想通貨とAI（人工知能）の有益な交差点とは？ ブテリン氏が4つの事例を解説

同じようなことを考えて、何年も前からブロックチェーンとAIを活用しているので嬉しかったですね。

[記事] NVIDIAがデータセンター向けGPU市場で98％のシェアを独占していることが判明、AI性能が明暗を分ける結果に

有難い事にnVidiaの株価も凄いことになってます。AMD×Microsoftの生成AI向けのGPUやIntelがここからどう巻き返しを狙うのか楽しみですね。

[ニュース] リアルタイムエンジン関連

[UE] 2024年2月の無料の Unreal Engine マーケットプレイス コンテンツ

この記事が気に入ったらサポートをしてみませんか？