AI動画生成の長尺動画問題を解決「LongAnimatediff」他 / Catch up on AI 2023.12.24
Pick up
AnimateDiff v3に続き、「LongAnimatediff」がリリース。
モデルは32フレームと64フレーム用の2モデルとなり、64フレームモデルは64フレーム生成すると絵が崩れるため、現状では64フレームモデルで32フレームで生成することが最も良い結果が得られるようです。
LongAnimateDiff
Project：https://github.com/Lightricks/LongAnimateDiff/
modelcard：https://huggingface.co/Lightricks/LongAnimateDiff
【AI動画生成の長尺動画問題を解決】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 24, 2023
AnimateDiff v3がリリースされてまだ間もないですが、LongAnimatediffがリリースされました。このモデルは一貫性を保ち長い動画が生成が難しい問題を解決するもので、2つのモデルが公開されました。
続く>>pic.twitter.com/QEcqm1s85R
Catch up on AI
着せ替えや、オブジェクトの合成などが可能な「AnyDoor」のデモ発表
【速報】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 24, 2023
着せ替えや、オブジェクトの合成などが可能な「AnyDoor」のオンラインデモがリリース！！
HF上で試せます！！https://t.co/ovymHWcp4Mhttps://t.co/9qAxHkUzzF https://t.co/5KKYsEfbMi
生成AIによる現代アート「Bear to Bull / ベア・トゥ・ブル」
【生成AIによる現代アート】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 24, 2023
「Bear to Bull / ベア・トゥ・ブル」と名付けられた作品は、様々な動物たちのホリデーパレードを描く。
見たことあるようで、見たことが無い景色は、不気味さも感じる一方アートとも言える。将来、現代アートの仲間入りするかもしれない。pic.twitter.com/HEFy4KZ4a7
2つの画像をモーフィングするAI「DiffMorpher」
【2つの画像をモーフィングするAI】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 24, 2023
DiffMorpherは、指定した2つの画像、A→Bといった形でモーフィングさせることが可能です。ゴッホの自画像から、フェルメールの真珠の耳飾りの少女へのモーフィングのデモも見事です。
コードもデモも公開中！
デモは続きから>> pic.twitter.com/3m7OLVrtNg
AIで生成した画像を深度推定で3Dプリント
【AIで生成した画像を3Dプリント】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 24, 2023
Midjourney v6で生成した画像から Marigold Depthで、深度推定して、3Dプリント可能なSTLに変換。
実際に出力されたモノは、まだ無いようですが、これができると、3Dプリンタの楽しみ方は、すごく広がりそう!!
続く>>#生成AI #3D #AIpic.twitter.com/8FqA0rt10F
3D推論を正確に「RelPose++」
【3D推論を正確に】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 24, 2023
カメラからの3D推論については、上手くいかないケースもありますが、RelPose++は、2～8枚のカメラビューから、正確性の高い、6Dポーズを生成可能。
従来技術に比べて、姿勢予測が大幅に改善、精度の高い3Dの再構成が可能に！
続く>>#3D #AIpic.twitter.com/nD3GddJjc9
深度マップを利用し安定した動画を生成「Stable Video Diffusion Temporal Controlnet」
【深度マップを利用し安定した動画を生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 24, 2023
ControlNet+Stable Video Diffusionで、整合性が取れた動画を生成可能に。入力したイメージと、動作したい動画からの深度データで動きを固定します。
CodeやModelデータはすでに公開されています。
続く>>#生成AI #SVD #AIpic.twitter.com/7EQbRIhsly
DomoAIのスタイル一覧まとめ
【DomoAIのスタイル一覧まとめ】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 23, 2023
一貫性の高いAIアニメが生成できるDomoAI（ @DomoaiO9855 ）で、利用できるスタイルを全て同じ動画でアニメ化を試してみました。
Style1.Anime v1-フラットカラーアニメ <1/6>
プロンプト：1girl, Japanese, sword
続く>>#生成AI #AIアニメ #AI pic.twitter.com/FwwjHMhKs3
Macでもリアルタイム生成AIに挑戦「Vanilla SD turbo」
【Macでもリアルタイム生成AIに挑戦】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 23, 2023
Vanilla SD turboは、AppleのM1 Maxで、現在は1.5fps程度で動作。
CoreML コンパイル、6ビットパレット化、TAESD、および StreamDiffusionのRCFGを利用すれば20fpsまで向上できると開発者は予測している。
Developer：@cyrildiagnepic.twitter.com/NoInpB9i7L
128倍AIアップスケールアート
https://x.com/taziku_co/status/1738699498115977707?s=20