生成AI動画を自由自在に操る「Boximator」他 / Catch up on AI 2024.2.13
Pick up
一貫性も高く、複雑な動作もオブジェクト後に切り分けてアニメ化ができるフレームワーク。非常に高精度で、思い描く動きを再現してくれます。
Boximator:Generating Rich and Controllable Motions for Video Synthesis
Project：https://boximator.github.io
arXiv：https://arxiv.org/abs/2402.01566
Video：https://youtube.com/watch?v=reto_TYsYyQ
Code：ComingSoon
【生成AI動画を自由自在に操る】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 12, 2024
Boximatorという技術が凄い！！
矩形ツールで指定した領域を動かす方向を指定して動きをつけることが可能。Gen2のマルチモーションブラシに似ているが、それよりも直感的で頭の中の動きと、リンクする感覚がある。
イラストも精度がある程度出る！
続く>> pic.twitter.com/EePxvLsYfR
Catch up on AI
AI音声を収益化「ElevenLabs」が音声のマーケットプレイスをリリース
【AI音声を収益化】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 13, 2024
ElevenLabs（@elevenlabsio） が音声のマーケットプレイスをリリース。自分の声を学習させ、Celebrities Voice Libraryで共有し、使用されると収益を得ることができるように！
わずか30分の音声で、音声クローンを生成可能！#生成AI #AI音声pic.twitter.com/83NIjeAJM2
視覚的なヒントを与える「PIVOT」
【視覚的なヒントを与える】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 13, 2024
PIVOTは、ロボットの視覚にヒントを与えるヒントを表示させ、ビジョン言語モデル (VLM) の性能をと精度を引き上げる、VLM 用の新しい視覚的プロンプト。
非常にわかりにくいので、視覚的プロンプト例を御覧ください。
続く>>pic.twitter.com/f1YvMnUOLu
オープンソースのGPTボイスノート「NotesGPT」
【オープンソースのGPTボイスノート】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 13, 2024
NotesGPTは、音声をを録音すると、音声をテキストに変換し、内容を要約・関連するタスクリストを自動的に生成してくれます。
完全なオープンソースで構成が嬉しい！
続く>>pic.twitter.com/Kd7YUhMKIc
GPT-4V x スマホでAIガイド
【GPT-4V x スマホでAIガイド】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 13, 2024
スマートフォンのカメラとシームレスに連携するGPT-4 Visionのデモ。
スマホの背面をダブルタップすると、自動的に写真内の場所が説明されるようにプログラムされており、ボタン操作無しで画像からの解析情報が表示。
これは便利そう！pic.twitter.com/h3sQOylj4x
2D画像を奥行き持たせて動画化「Leiapix AI」
【2D画像を奥行き持たせて動画化】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 13, 2024
Leiapix AIは画像から、3D Depth Animationを気軽に生成できるサービス。カメラの動きも操作できる。
画像からDepth Mapを生成して、それをベースで動かしているのかな...。Midjouneryとも相性がすごく良さそう！
続く>>pic.twitter.com/nmVgPKNunE
カメラやオブジェクト操作が簡単に「Direct-a-Video」
【カメラやオブジェクト操作が簡単に】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 13, 2024
Direct-a-Videoは、プロンプトとともにカメラモーションと、オブジェクトの動作を事前に設定し、それに基づいた動画が生成できるtext-to-videoフレームワーク。
text2vidで指定ができるが凄い！
続く>>#動画生成AI pic.twitter.com/uGXD1AGKzM
3Dガウシアンスプラフティングス→生成AI
【3DGS→生成AI】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 12, 2024
3Dシーンキャプチャした動画をリアルタイム生成AIで表現。
精巧に現実を再現した3Dシーン → 生成AIで再び仮想へという表現が新しい。
3Dシーンは自由視点なので、これは新しいクリエイティブが生まれそう。pic.twitter.com/OEUFzNnV2y
中国で放映されたマクドナルドのNeRF広告
【マクドナルドのNeRF広告】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) February 12, 2024
NeRFの3Dシーンと自由視点をうまく利用したマクドナルドのCM。
1年前の、2023年の旧正月に放映されたものとのことですが、この時期にこういった技術を取り入れてというのは本当にすごい。
AIを利用した技術と新しい表現は今後も広がっていく。pic.twitter.com/5kmvqSr7fw
AIのNewsやアートワーク情報を更新中⚡
X（Twitter）ではAIの最新情報を発信中🐦
この記事が気に入ったらサポートをしてみませんか？