写真1枚と動きの参考動画からアニメを生成できる新機能 他 / Catch up on AI 2024.3.25
Pick up
静止画と動画をあわせて、一つのアニメーションを生成できる新機能。これはなかなか手軽。様々な実験を試みてみたいと思います。
Domo AI
https://discord.com/invite/domoai
【指定のキャラクターを指定の動作で】@DomoAI_ が写真1枚と動きの参考動画から気軽にアニメを生成できる新機能を発表！
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 24, 2024
これはかなり使えそうな。ダンサー・モーションアクターの方など、動きを提供する側が価値が出てきそう。
続く>>#AIアニメ #AIpic.twitter.com/oaDyr1TUoB
Catch up on AI
アニメーター x 生成AI 実験
【アニメーター x 生成AI 実験】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 25, 2024
アニメーターさんが描いたイラストを @DomoAI_ の画像と、参考動画からアニメを生成できる新機能を実験。
ベースの絵で見えない所があったり、難しい服装だが、わりと再現。どんな絵が最適か、これから探っていきたい。
Colabo：@KnKDesign#AIアニメ #生成AI pic.twitter.com/xwU246qcDz
動画内のターゲットオブジェクト認識
【動画内のターゲットオブジェクト認識】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 25, 2024
T-Rex2は動画内のオブジェクトを指定し、そのオブジェクトをターゲッティングして検出ができる技術。
ターゲットの指定も直接短径ツールで指定が可能で、かなり細かい物体や、複雑な動きをするものなども検出可能。
続く>>#AI #検知 pic.twitter.com/GsQuDWUE0m
格ゲーでLLMの性能評価
【格ゲーでLLMの性能評価】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 25, 2024
LLMの正体を伏せて、結果を戦わせる評価方法が有名ですが、『ストリートファイターIII』でLLMをリアルタイムに戦わせて品質を評価。
ランキングはGPT-3.5-turbo-0125が最も強いとなっています。格ゲーでは4に3.5が勝利！
続く>>#生成AI #LLMpic.twitter.com/pGPbPcmHIs
様々な人間のテクスチャを生成 TexDreamer
【様々な人間のテクスチャを生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 25, 2024
TexDreamerはゼロショットで様々な3Dヒューマンテクスチャを生成するフレームワーク。
テキストと画像の両方の入力をサポートするマルチモーダル駆動で、最大の高解像度 (1024×1024) で出力が生成可能です。
続く>>#3DCG #生成AI pic.twitter.com/1a8MDEJjt3
AIで3Dアニメーションサイト構築
【AIで3Dアニメーションサイト構築】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 25, 2024
Dora AI（@doratool）と3Dモデルを利用した生成AIによるワークフロー。
こうした手の込んだ、アニメーションやWEB表現も、生成AIで制作ができるとなると一気に広がる可能性。#WEB #生成AIpic.twitter.com/PBcSghd15s
3Dデータと連携 一貫性の高いアニメ生成
【3Dデータと連携 一貫性の高いアニメ生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 25, 2024
Champは3Dヒューマンパラメトリックモデルでガイダンスすることで、画像からアニメーションを生成するフレームワーク。
AnimateAnyoneやMagicAnimateと比べてもかなり精度が高い印象。特に手や腕の破綻が少ない。
続く>>#生成AI #AI動画 pic.twitter.com/vWh3Xpthb8
生成AIパブコメを一枚の画像で
【生成AIパブコメを一枚の画像で】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 24, 2024
パブリックコメント非常に数が多く、一つ一つが重たいので、こうしたまとめはすごく助かります。
こうしたほうが良いと決める、アイデアを思いついて実行するのはまだ人間だなと思う良いポスト！#生成AI #AI https://t.co/QA6e8gkGS8
風景静止画をシネマグラフ化
【風景静止画をシネマグラフ化】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 24, 2024
StyleCineGANは事前学習済みのStyleGAN を使用して、動画の一部分のみが動くシネマグラフを生成。
動きを雲や、水に絞っていることもあり、破綻を感じにくく、とても精度が高く見えます。
続く>>#生成AI pic.twitter.com/7cLfCUks9d
AIのNewsやアートワーク情報を更新中⚡
X（Twitter）ではAIの最新情報を発信中🐦
この記事が気に入ったらサポートをしてみませんか？