モーションの目的を指示可能な動画生成モデル「MotionDirector」他 / Catch up on AI 2024.2.3
Pick up
外見とモーションを別々に学習し、それぞれを組み合わせることが可能な動画生成モデル。参考にする動画を入力し、モーションはそのままに、プロンプトを掛け合わせ動画の生成が可能です。
MotionDirector: Motion Customization of Text-to-Video Diffusion Models
Project: https://showlab.github.io/MotionDirector/
arXiv: https://arxiv.org/abs/2310.08465
Code: https://github.com/showlab/MotionDirector
【モーションの目的を指示する動画生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 3, 2024
MotionDirectorは、リファレンスを読み込みながら、目的のモーションを持つ動画を生成できる新たな動画生成フレームワーク。
デモでは重量上げをする人をリファレンスにクマが重量上げする動画が生成されている。
続く>>#動画生成AI #生成AI pic.twitter.com/IhtP3XTKrk
Catch up on AI
自動運転 x Vision Pro
【自動運転 x Vision Pro】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 3, 2024
Vision Proが発売され、Xでは様々な報告がポストされています。その中でも衝撃的だったのが、Teslaの自動運転でドライブをしながら、Apple Vision Proを操る1シーン。
将来、車に乗って移動するという概念は大きく変わる。これは最初の一歩。pic.twitter.com/Ns4EaNRCxe
3Dカートゥーン x AIアニメ
【3Dカートゥーン x AIアニメ】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 3, 2024
Nijijourneyで生成した3Dカートゥーン風のイラストレーションをGen2のマルチモーションブラシで動かす。
瞬きが目が大きい割には上手く行った、あと少し技術が進めば壁を突破できそうなクオリティ。#生成AI #AI動画 #3DCG pic.twitter.com/rAWbRKaCrg
33年前のVision Pro
【33年前のVision Pro】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 3, 2024
技術の進歩は凄まじく、第1世代のVRテクノロジーから大幅に進化しました。今は不可能と思われることでも、時代とともに洗練され、課題をクリアし進化する。
あと30年後何が待ち受けているのか？楽しみでもあり、加速度的な状況に怖くもあります。pic.twitter.com/3FdqIeSV7h
リアルタイムお絵かきAI「AIキャンバス」
【リアルタイムお絵かきAI】@AkumaAI_JP がスケッチから、リアルタイムで画像生成ができる「AIキャンバス」をリリース。
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 3, 2024
類似ツールが、次々とリリース中止に追い込まれていますが、今までとは文脈・経路なので大丈夫だと思いますが、頑張って欲しい！！#生成AI pic.twitter.com/JfujQbqSj2
StableVideoの実力
【StableVideoの実力】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 3, 2024
これは Stable Video を利用したハイクオリティな作品をまとめたデモリール。リアルな映像については、もはや実写と遜色がないレベルに迫って来ている。
まだ招待されたユーザーしかログインはできない形ですが公開が楽しみです！
続く>>pic.twitter.com/MZUYUJIyc9
中国の新しいスタートアップMagicLabの洗濯物がたためるロボ！
【洗濯物がたためるロボ！】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 3, 2024
中国の新しいスタートアップMagicLabが発表した新しいロボットのデモ！
TeslaのOptimusと同様に洗濯物畳みに対応。その他、植物に水をやったり、マシュマロを串を刺したりの動きに対応。
遠隔操作じゃないか？という声もありますはたして...pic.twitter.com/tlxxRmlp8U
固定観念を軽減する研究 ダイバーシティファインチューニング
【固定観念を軽減する研究】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 3, 2024
ダイバーシティ ファイン チューニング (DFT) アプローチと言われる、この職業はこういう人、こういうイメージからはこの顔など、生成AIにおける、固定観念を軽減。
国際的にはこういった概念は非常に重要ですが生成AI領域にも！
続く>>pic.twitter.com/ywzwONsUml
動画生成AI Pikaのテクニック
【動画生成AI Pikaのテクニック】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 3, 2024
動画変換を行うだけではなくて、ネガティブプロンプトの設定が、思い描くアニメを作成する上では非常に重要と言う、Pika（ @pika_labs ）公式からのTips！
人が喋ってしまう場合は「talking, mouth moving」で防ぐことが可能。#AIアニメpic.twitter.com/V16mdmeWRo
AIのNewsやアートワーク情報を更新中⚡
X（Twitter）ではAIの最新情報を発信中🐦
この記事が気に入ったらサポートをしてみませんか？