感情豊かに1枚の画像と音声から動きを生成 EMO 他 / Catch up on AI 2024.2.28
Pick up
なんとなくぎこちなかったAIアバターも大きく進化。1枚の画像と音声があれば、自然に感情豊かなアニメーションが生成できるように。
EMO: Emote Portrait Alive - Generating Expressive Portrait Videos with Audio2Video Diffusion Model under Weak Conditions
Project：https://humanaigc.github.io/emote-portrait-alive/
arXiv：https://arxiv.org/abs/2402.17485
code：https://github.com/HumanAIGC/EMO
【感情豊かに音声から動きを生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 28, 2024
EMOは、一枚の画像と音声を組み合わせて、顔の表情や首から上の動きを生成できるフレームワーク。非常に高精度で口を大きく開けて驚いたり、細かな表情も再現可能。
CGっぽい生成AIもイラストレーションも精度がかなり高い。
続く>>pic.twitter.com/44oUBkN3MX
Catch up on AI
LLMのゲームチェンジャー！？マイクロソフトが発表したBitNet b1.58
【LLMのゲームチェンジャー！？】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 28, 2024
マイクロソフトが発表したBitNet b1.58。行列の中身を1ビットにし、はるかに少ない計算リソースで実行ができるというもの。
Llama70Bとの比較で8.9倍高速。推論にGPU不要になる可能性も。
続く>>#LLM pic.twitter.com/cOnZusy3Mo
高精度3DCG AIにローポリモード
【高精度3DCG AIにローポリモード】@CSM_aiにローポリゴンモードが追加。画像1枚からローポリゴンのCGが生成可能。
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 28, 2024
テクスチャも調整することも可能で。生成された3DCGは、GLB、OBJ、USDZ，FBXでダウンロードが可能。#3DCG #生成AIpic.twitter.com/G1LAPH8cX3
白黒マンガをカラー化するAI Toona
【白黒マンガをカラー化するAI】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 28, 2024
Toonaは白黒漫画を一括でカラー化できるAIツール。デモの動画を見る限り、非常に高精度でぱっと見た感じ、違和感のあるようには思えません。
現時点では無料で提供されているとのこと。とんでもないレベルのものがでてきた。
続く>>#AI #着彩 #漫画 https://t.co/fieXLEkC2D
複数のLoRAを統合 LoRA SwitchとLoRA Composite
【複数のLoRAを結合する方法】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 28, 2024
LoRA SwitchとLoRA Compositeはルを拡散モデルに統合する手法。特に注目なのはノイズ除去ステップごとに異なる LoRAを切り替えて適応するLoRA Switch。
生成過程を意識しながら、順番を考えて組み合わせれば理想の画作りが可能になりそう。
続く>>#LoRA #生成AI https://t.co/SO3GcuPTut
Video Background Removalがローカルで実行できるように
【背景除去がローカルで！】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 28, 2024
Video Background Removalがローカルで実行できるように移植されたVerがリリース。Win、Mac、Linux）で実行可能です。
またローカル版では、1分制限も撤廃され、制限なく背景除去が可能に！
続く>>pic.twitter.com/OnMg3lPwOy
Stability AIが発表した「Stable Diffusion 3」は文字の出力部分がかなり改善
【SD3は文字も完璧に】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 27, 2024
Stability AIが発表した「Stable Diffusion 3」は文字の出力部分がかなり改善。文章も生成可能になっています。
まだアルファベットのみで、日本語や漢字は、まだ難しいようですが、その他の論文では研究されているし時間の問題かと思う。#生成AI #画像生成AI https://t.co/wzsurlRK7A
ブラウザでYOLOv9をTransformers.jsで動作
【ブラウザでリアルタイム検出】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 27, 2024
ブラウザでYOLOv9をTransformers.jsで動作させ、リアルタイムのオブジェクト検出。
・ローカル推論可能
・サーバー遅延なし、開発者がリアルタイム アプリケーションを構築
・コストの削減
続く>>#AIpic.twitter.com/zzTJXdoxFq
Plask motion、RADiCAL、Quickmagicのモーションキャプチャ比較
【AIモーションキャプチャ比較テスト】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 27, 2024
Plask motion、RADiCAL、Quickmagicのモーションキャプチャ比較。動きによって若干得意、不得意がある気がする。
AIの発展でカメラや動画から簡単にできるようになったけど、VTuber始めた頃はスタジオ借りるのもメチャクチャお金かかってた。素晴らしい進化！ https://t.co/6utRonL5iZ
AIのNewsやアートワーク情報を更新中⚡
X（Twitter）ではAIの最新情報を発信中🐦
この記事が気に入ったらサポートをしてみませんか？