生成画像に驚異的な一貫性を持たせる「DreamTuner」他 / Catch up on AI 2023.12.23
Pick up
ByteDanceがリリースしたDreamTuner。画像をテキストで操作する際に一貫性を保てない問題がありましたが、DreamTunerではその問題を解決できる可能性。
DreamTuner: Single Image is Enough for
Subject Driven Generation
Project：https://dreamtuner-diffusion.github.io
Paper：https://arxiv.org/abs/2312.13691
【キャラのテキスト操作の一貫性が大幅に向上】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 23, 2023
ByteDanceがリリースしたDreamTunerが凄い。
イメージからプロンプトで背景を変えたり、ポーズや表情を変えた際の一貫性が飛躍的に向上。キャラクターを指定して様々な指示をテキストで出しても破綻がほぼ無い。
服装も完璧！
続く>>#生成AI pic.twitter.com/B2ahcIe7vg
【驚異的な一貫性を利用してダンス生成】#DreamTuner の驚異的な一貫性を利用して、ControlNetのOpenposeを掛け合わせて、ダンスムービーも生成可能。
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 23, 2023
1フレームごと生成しているだけなのですが、DreamTunerで一貫性を保つことで成立...。
これは...凄まじい。#生成AIhttps://t.co/PFGAExg1Bg pic.twitter.com/IfUqcGmMpY
Catch up on AI
犬や馬、キャラ、椅子までポーズ推定が可能「Pose Anything」
【犬や馬、キャラ、椅子までポーズ推定が可能】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 23, 2023
Pose Anythingは、あらゆる物体・生物のポース推定が可能なモデル。全身だけで無く、顔の表情などの目と口のバランスも推定できる。
これが進めば、複雑な「馬が走る」などの動画もAIで破綻なく自然に可能になるかもしれない。
続く>>#生成AI pic.twitter.com/WOpGI3Xjm4
アリババを待ちきれず、アンオフィシャルで「AnimateAnyone-unofficial」
【アリババを待ちきれず、アンオフィシャルで】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 23, 2023
世界中で話題になった、ダンス生成AIのAnimate Anyoneをmagic-animateとAnimateDiff を利用し、非公式で構築。急速に発展させているのがAnimateAnyone-unofficial。
現在第2段階のトレーニングとテストを行っているそうです。
続く>>#生成AI pic.twitter.com/wsDvGsjar6
画像から高品質なムービーを生成「Image2Motion」
【画像から高品質なムービーを生成】@LeonardoAI_ のImage2Motionがかなり良さそう。もともとのインプットをかなり忠実に守り、一貫性が非常に高い動画を生成している。
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 23, 2023
フォトリアルの描写が特に素晴らしい！現在ベータとのことです。#生成AI #AI動画pic.twitter.com/oxKwIbFLxJ
テキストから3Dルームを生成「ShowRoom3D」
【テキストから3Dルームを生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 23, 2023
ShowRoom3Dは、テキストプロンプトから高品質な3Dルームシーンを生成する技術。 MVDiffusionを利用して、3Dルームスケールシーンを最適化。
カメラの制御も可能でさらに、自由視点で見ることも可能です。
続く>>#生成AI #3D #AI pic.twitter.com/br0G5DSxMr
整合性が取れたアニメを可能にするモデル PIA
【整合性が取れたアニメを可能にするモデル】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 22, 2023
PIAは、画像の整合性、プロンプトによる一貫性のあるモーション制御を可能にするモデル。特別なチューニングが必要なく利用可能。
かなりクオリティが高く、様々な表現で破綻が無いアニメーションが生成可能です。
続く>>#生成AI #動画生成AI pic.twitter.com/nnOtbOX5iA
IP-Adapterを利用して服装も再現
【IP-Adapterを利用して服装を再現】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 23, 2023
ComfyUI+IP-Adapterで、顔だけでは無く、服装も完全に再現。
それぞれのボディーパーツに区分けて利用することで、全て再現した人物のポーズ違いを生成。
生成AIは奥が深い。リアルな人物だけでは無くてイラストもイケるっぽい！
続く>>#生成AI #画像生成AI https://t.co/W5TkFPxyP4
AIを教えるAIショート動画 音楽、声、セリフ全てAIで制作
【AIを教えるAIショート動画】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 23, 2023
前後は人間が出演していますが、画像生成AIでコンテンツが爆発的に増えたように、音楽、声、セリフ全てAIで制作されると、飛躍的に流通するコンテンツは増えそう。
是非音声ONでご覧ください！
利用されたAIツールは続きから>>#生成AIpic.twitter.com/RC0UEoeNHL
AIのNewsやアートワーク情報を更新中⚡
X（Twitter）ではAIの最新情報を発信中🐦
この記事が気に入ったらサポートをしてみませんか？