見出し画像

『1枚の静止画からAIが人やキャラが動く動画を生成する「MagicAnimate」が公開』～【web3&AI-テックビジネスのアイディアのタネ】2023.12.8

モリプト タツヤ

■1枚の静止画からAIが人やキャラが動く動画を生成する「MagicAnimate」が公開

　「TikTok」を運営するByteDanceは12月4日（現地時間）、人物やキャラクターの静止画や動画と、モーションシーケンスデータを組み合わせて、動画を生成できる動画生成モデル「MagicAnimate」を発表、ソースコードとデモページを公開した。

画像生成AIでテキストから静止画像を生成できるようになった次は、その静止画を「動かす」ブームが来るだろうと言っていた矢先、静止画1枚から人物を構造的に抜き出してダンスさせられるレベルで「動かす」技術がTikTok運営のByteDance社から発表されました。

静止画をなぞると自動的に動く「Motion Brush」に驚いていたのは1週間前のことです。AIの進化スピードは爆速ですね。


MagicAnimateの作例

モナリザの絵画からでも人物を抜き出して走らせられています。
表情まで自動で変えられるエフェクトも素晴らしいですし、人物の後ろの背景も自動的に補完しているのもスゴイ。消しゴムマジックの超応用版です。


鎌倉の大仏のような、実物を見ても足の屈折がちょっとわかりづらいものをベースにしてもダンスさせられています。ちょっとキモイ(笑)
体格は維持されていませんから、テクスチャーだけモデルに貼り付けたような処理なのでしょうかね。

キモイやつの集大成をKEITOさんが作っちゃいました。集まるともっとキモイ。


実写ベースはもちろん人物の抜き出し精度が高いですね。ただ、顔が元の画像とは別人になった印象で、顔の大きさがダンスリズムに合わせてズンズンと大小に動くのも違和感があります。

もう顔の破綻問題は解消方法が編み出されています。Deepfake加工すれば、というのが皮肉です。


デフォルメキャラはまだ苦手なようです。動きはしますが顔や服などが破綻します。それでも動きは問題ないところがスゴイ。


2人同時に動かすことも可能ですが、覆面姿は勝手に別人の顔を当てはめられてしまいました。

覆面に対応できれば、NFT画像に動きをつける再価値化ができそうです。


デフォルトで用意されている動きだけでなく、オリジナルな動きも対応できています。チュンリー並みの腕のマッチョさが見え隠れするのは学習データの問題でしょうか。


パルクールできるようになったら革新

MagicAnimateの登場で

1枚の絵から人物の輪郭を抜き出し、人物に隠れていた背景を自動補完して、人物に表情と動きをつける。

ここまで来ました。

次の進化は、背景も自動認識して人間と組み合わせることじゃないかと思います。これができれば1枚の絵からパルクールができるようになります。

壁や棒などを認識して、掴んだり蹴ったりできるようになれば、ほぼほぼのアクションシーンをAIで作れるようになるでしょう。危険なスタントシーンを俳優本人の顔のままでAI CGで安全に撮影できるとなれば、映画業界では需要がすぐにでもありそうです。ただしスタント俳優がAIで失業する問題にも直面しますが・・・

ゲームの作られ方にも影響を与えそうです。今もモーションキャプチャーや3D CGで近いことを実現していますが、モブキャラすべてにリッチでオリジナルな動きをつけ、個性を持ったモブができるようになるとリアリティがグッと上がります。

AIによる自動化と低コスト化でゲーム体験が次の次元に到達することになるでしょう。

現状のMagicAnimateは登場したばかりで改善点はありますが、出たばかりでもこのクオリティです。来年には本当にパルクールやってそうです。

この記事が気に入ったらサポートをしてみませんか？