見出し画像

TIKTOKのバイトダンスの新しいサービス「即夢AI」:画像・動画のAI生成

字節跳動(バイトダンス)傘下の「剪映」チームが開発した一体型AI創作プラットフォーム「即夢AI」のモバイル版が、8月6日にAppleのApp Storeに登場した。このプラットフォームは、AIを活用した画像と動画の作成機能を提供しており、ユーザーは会員サービスを利用して画像や動画を生成することができる。料金は月額69元(約1400円)で、約2000枚のAI生成画像か168本のAI生成動画を作成する事が出来る。

「即夢AI」は、字節跳動が買収した深圳市顔萌科技有限公司によって開発されたもので、リーダーシップチームには、かつて抖音(TikTok)のCEOを務めた張楠氏が名を連ねている。同プラットフォームのリリースは、字節跳動がAI創作技術の商業化に向けた重要な一歩を踏み出したことを意味している。

以下に「即夢AI」の簡単な動画生成のサンプルをご紹介します。

単一オブジェクト - 単方向運動

浮かび上がる石。

うさぎが前にジャンプ。

サッカーボールが前に転がる。

まとめ:単方向のコントロールは、軌跡制御の中で最も簡単なものであり、オブジェクトの崩壊をほとんど引き起こしません。

単一オブジェクト - 多方向運動

山頂で手を振る男の子

時計が左右に揺れる。

男の子が上下に頷いたり、左右に首を振る。

前に飛び跳ねるウサギ

まとめ:多方向運動は、オブジェクトが上下左右に動きながら方向を変えることですが。これはより精密なコントロールが必要となり、動きが大きくなると、オブジェクトが若干崩れるケースがありました。

単一オブジェクトの消失

焚き火が徐々に消え、空が暗くなる

魚がゆっくりと前に泳ぐ

まとめ:オブジェクトの消失には二種類あり、一つはオブジェクトが画面から完全に消失するケースと、もう一つは動きによって画面外に移動するケースがある。特に火が消える場面では、周囲の光の変化がリアルに表現されている。

単一オブジェクトの出現

魔法書から魔法が発動しする

火が徐々に大きくなる

焚き火が燃え広がり、巨大な炎になる。

まとめ:プロンプトだけで炎の大きさや高さをコントロールするのは難しいですが、「即夢AI」ではパラメーター等の調整で炎の高さや方向を自由に決められるのは、それが可能となっています。

単一オブジェクトの変化

苗木がゆっくりと芽を出し、成長する。

ロボットが変形してタンクになる。

まとめ:変化のタイミングの開始と終了はフレームで正確に制御できるようになっている。

複数オブジェクト - 単方向運動

車が別の車を追い越す。

二つの石が別々の方向に転がっていく。

まとめ:複数オブジェクトの単方向運動は、比較的簡単に作り出せる。運動幅の調整や各オブジェクトの運動終了位置を制御するだけで、追い越しのような効果を容易に生成できる。

複数オブジェクト - 多方向運動

複数の鳥が上下に揺れる。

二つの花が揺れ動く。

複数の服がハンガーに掛かり、風に揺れる。

まとめ:「即夢AI」は現時点で最大5つのオブジェクトの動き制御が可能となっている。

複数オブジェクトのインタラクション

ハグする少女達

二頭の鹿が近づいて寄り添う。

まとめ:オブジェクトが向かい合って近づくことで、インタラクション効果を出すこと可能で。サンプルの二人の少女のハグでは、自然な動きが表現され、抱き合った後に背中を軽く叩くといった細かいディテールも生成されている。ただし、二つのオブジェクトが重なると、若干の混じりや表情の崩れが見られる。

オブジェクトと背景のインタラクション

宇宙空間を進む宇宙船。

宇宙空間で落下していく隕石。

まとめ:オブジェクトと背景の相対的な動き生成可能で、オブジェクトの運動軌跡を設定した後、背景の動きの方向を逆にすることで、リアルな相互作用が実現できる。


この記事が気に入ったらサポートをしてみませんか?