SDXLが更に進化！「DPO-SDXL」他 / Catch up on AI 2023.12.20

Pick up

SDXLの精度をさらに向上させた、DPO-SDXL登場。かなり人間の頭の中で思い描くものと近づいてきた。人間の描写も細部上がっており、手、歯、目線など細部のクオリティが向上している。

DPO-SDXL
arXiv：https://arxiv.org/abs/2311.12908
dpo-sdxl-merged ：https://huggingface.co/dataautogpt3/dpo-sdxl-merged

SDXL-DPO: https://huggingface.co/mhdang/dpo-sdxl-text2image-v1
SD1.5-DPO: https://huggingface.co/mhdang/dpo-sd1.5-text2image-v1
https://x.com/taziku_co/status/1737233885585711517?s=20

Catch up on AI

もう顔の再現にLoRAはいらない！？「IP-Adapter-FaceID」

【もう顔の再現にLoRAはいらない！？】
IP-Adapter-FaceID の実験版。 LoRAではなく、顔認識モデルから顔を認識し、テキストプロンプト合わせてリファレンスの顔を再現するというもの。

かなり精度高く、リファレンスとなっている顔を再現することが可能です。

続く>>#生成AI #AI pic.twitter.com/2tIaOjkoRf

— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 20, 2023

人間を3Dガウシアンに合成!?「HUGS」

【人間を3Dガウシアンに合成!?】
HUGS: Human Gaussian Splats は、映像から、アニメーション化可能な (3DGS) アバターを作成可能でNeRFなどの3Dシーンの合成可能!

多少違和感はあるものの、3Dシーンで飛んだりはねたりしているシーンを作成可能。

続く>>#3D #NeRF #AI pic.twitter.com/jjsCB9kVRa

— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 20, 2023

動画の一貫性を大幅に向上させるFreeInit、Colabで実行できる環境が公開

【動画の一貫性を大幅に向上】
様々な動画生成AIで適応できる動画の一貫性を大幅に向上させることができるFreeInit、Colabで実行できる環境が公開されています。

動きは小さくなるが、この一貫性は素晴らしい！AIアニメもどんどん進化。

続く>>#生成AI #AI動画pic.twitter.com/TGxhPKb4XT

— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 20, 2023

より進化したControlNet「SCEdit」

【より進化したControlNet】
SCEditは、より高い再現性、高速なトレーニング、低VRAMで動作を実現。

デモを見る限り、かなり強力。もちろん異なる処理を組み合わせて利用する、マルチ ControlNet的な動作にも対応。

続く>>#生成AI #AIpic.twitter.com/GZLJO6AIEZ

— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 20, 2023

Macにも対応！リアルタイム生成AI「DrawingPics」

【Macにも対応！リアルタイム生成AI】
DrawingPics がアップデートされ、かなり使いやすそう！UIデザインがシンプルで、モデルを読み込ませたり、LoRAを利用したり、細かいパラメーターも触れます。

スケッチからだけで無く、画像や線画からも生成可能

続く>>#生成AI pic.twitter.com/SQQdxNYB5V

— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 20, 2023

Googleが発表した一貫性の高い動画生成AI「VideoPoet」

【Googleが発表した一貫性の高い動画生成AI】

VideoPoetは、一貫性を保ちながら、ゼロショットで生成が可能な大規模言語モデル。馬の歩きや、かぼちゃの爆発など、結構難しい動画も一貫性を保ちながら再現している。

続く>>#生成AI #AI #動画AIpic.twitter.com/tg9dD9oBL7

— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 20, 2023

テキストで3Dシーンを操作「LatentEdito」

【テキストで3Dシーンを操作】
LatentEditorは、髭を生やしたり、ぬいぐるみのクマをシロクマにしたりと、NeRFによる3Dシーンをテキストでコントロール。

かなり自然で元絵と見比べても違和感が無い。どこまでが現実化が非常に曖昧になる...!

続く>>#NeRF #3D #AIpic.twitter.com/lZpGdHqREC

— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 19, 2023

生成AIでアクションを正確に制御「ADI」

【生成AIでアクションを正確に制御】
ADIは、生成AIの画像で同じ動きを様々なキャラクターで実行させることができる技術。

ContorlNetによる操作とは異なり、概念としてポーズが伝わるイメージでシルエットが違ってもかなり自然な形で仕上がる。

続く>>#生成AI #ADI #AIpic.twitter.com/0R9qCyAzsF

— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 19, 2023

AIのNewsやアートワーク情報を更新中⚡

Catch up on AI｜Yoshihiro Tanaka | taziku｜note

X（Twitter）ではAIの最新情報を発信中🐦

Tweets by taziku_co