![見出し画像](https://assets.st-note.com/production/uploads/images/124445123/rectangle_large_type_2_bca834b1cf6a3e7888f321374f3e9f04.jpg?width=1200)
【保存版】話題の動画生成AIツール25選|ゆる概要付きまとめ【一覧】
最近は動画生成AIの勢いに驚くばかりですね。
今この波に乗らないと絶対に置いていかれるぞと思いつつ、すでに置いて行かれている気がします。
なぜなら、ちょっと目を話した隙に新たな動画生成ツールがどんどん生まれているから。それくらいのスピード感!
そこで今回はとりあえず、今のところ動画周辺のAIってどんなツールがあるのか?だけでも一覧にして、見返せるようにしておきたいと思います。
☁️|動画生成AIとは?
動画生成AIとは、作りたいイメージをテキストで入力するだけで、AIが動画を自動生成してくれる技術のこと。他にも、
●1枚の画像から動画を作る
●既存動画の一部分にCGのような合成を入れる
など、動画の制作・編集がテキスト(プロンプト/AIを動かす呪文のようなもの)を入力するだけで可能です。
書き進めていたら最終的にそこそこ多くなってしまったので、是非目次のご興味のある部分からご覧ください。
それぞれ公式のリンクと作例もつけながらご紹介します。ゆるく、浅い概要とともにお楽しみください。
■基本の動画生成AI
Pika Labs(Pika 1.0)
個人的に一番よく見かけるツール、Pika Labs(ピカラボ)、またの名をPika1.0(最新モデル)。
これだけクオリティが高いのに何故か無料らしい。
今登録者が殺到しているので、使いたい場合は空き枠を待つウェイティングリストへの登録が必要です。
◎Pikaの作例は下記記事で実写風、アニメ風などジャンルごとにまとめています。
Runway Gen-2
Generate every emotion, in any style, with Gen-2.https://t.co/ekldoIshdw pic.twitter.com/J5QqR93y6t
— Runway (@runwayml) December 8, 2023
Runway Gen-2もたぶん定番、というか動画生成AI出始めの頃から話題になっていて、「Runway」とか「Gen2」とかって呼ばれています。こちらもなぜか無料。
さっきのPikaでもできるんですけど、1枚の画像を動かして動画にしたり、画像の一部分だけを選択して動かしたり(爆発のCGを入れるとか)できます。
PikaとRunway Gen2を比較してくれている動画もありました、ありがたい!
ちょっと作例ありすぎて、どこかにまとめておきたいのでまた個別で記事作ります🧘🏻♀️<たのし〜
Stable Video Diffusion
ちなみに動画のAIだと、画像から動画が作れるStable Video Diffusion が11月にリリースされたので個人的に注目してます
— sato@動画編集 (@satosato2921) December 6, 2023
今日早起きして環境構築して使ってみたのですが、結構すごかったので貼っときます
現状だとまだ数秒くらいしか作れないみたいですが、なかなかですね🤔#デジハク #動画編集 pic.twitter.com/YkOXD1Obwg
画像生成AI界隈では定番の、無料でインストールできるかつ商用利用可能なStable Diffusionから、動画版が出ました。
無料版のGoogle Colabだと無料で使えるみたいです。ちょっとよくわかんなくてすいませんペロ
noteにも解説記事がたくさんありますね!
「Stable Video Diffusion」で高品質映像のAI生成が簡単すぎた!
— そねち| AIクリエイター (@AIsonesone) December 10, 2023
作り方は下記3ステップ
1. Stable Video Diffusionのサイトにアクセス
2. 画像をアップロード
動画の長さ、スピード、サイズをカスタマイズ可能
3. あとはダウンロードするだけ
(※今回の元画像はMidjourneyで作成しました) pic.twitter.com/nImU1CKRhK
使い方は3STEPらしいです。
PixVerse
PixVerseは動画生成AI、MidjourneyのようにDiscord内で生成します。
— たくぞー/グラフィックAI専門 (@tkz_aiart) December 3, 2023
4秒ほどの動画が生成されます。
登録してすぐ使えます。
実際作った動画です。 https://t.co/rt6GEOLCAQ pic.twitter.com/cZjFyyzgxc
Discord内で使うPixVerse。アニメや実写など色々なスタイルが選べる模様です。
そして登録してすぐ無料で使えるとのこと!
Discordに参加するだけでOKなので、私も登録しました。
PixVerseの使い方は、Discord内の動画生成用のチャンネルに、コマンド「/create」を入力、その後ろに作りたい動画のイメージを文章(英語の方が良い)を打ち込んで送信。これだけです。
》PixVerse《
■アニメーションAI(AIダンス動画)
テキストから動画を作れる動画生成AIとは異なり、人の動きや既存の動画を理解して、合成できるAIツールをそれと差別化して「アニメーションAI」としています。(なんとなく自分の中で混同するため)
MoveAI
MoveAIは、動画から人の動きだけを抽出して3Dの映像が作れる凄いツールです。
例えば、人間が踊っている動画をアップして、AIに「これゴリラにして」って頼んだら、ゴリラのダンス動画ができあがります。
iPhoneで無料だと30クレジット分試せて、公式によると1秒=1クレジットみたいです。
有料版も月額15ドル〜なので、結構お手頃な気がします。
9 people captured. No suits or markers needed. This is motion capture powered by #AI
— Franco Ronconi 🇮🇹 (@FrRonconi) December 8, 2023
These 2D videos were used to generate #3D motion data with @MoveAI_ #3DAnimation #GenerativeAI@CurieuxExplorer @anand_narang @jblefevre60 @mvollmer1 @enilev @Khulood_Almani @baski_LA @Xbond49 pic.twitter.com/87IKW6nC1o
2アングルの動画をアップすると、それを立体的になんかこういうふうにできちゃうっていう意味わかんない機能もあります。MoveAIは3Dに強いっぽいですね。
》Move AI《
AnimateAnyone
【解説】驚きのアニメーション体験「Animate Anyone」とは?
— 木内翔大@SHIFT AI代表「日本をAI先進国に」𝕏 (@shota7180) December 5, 2023
AnimateAnyoneが大反響の一方、なかなかコードが公開されない
公式は「デモとソースコードへのアクセス提供の意図は揺るぎない」とコメント
もしかするとTikTokerの価値が変わるかもしれない
そんなAnimateAnyoneを解説>> pic.twitter.com/eDuBNMZmgZ
AnimateAnyoneはめちゃめちゃ話題になりました、1枚の人物画像をアップするだけでその人を自由自在に動かせるツール。
見てもらうとわかりますが、アニメのキャラや女性が自然に動いています。
発表されるだけされてまだ使えないみたいです!詳細はこちら。
MagicAnimate
【事例】モナ・リザが走った!「MagicAnimete」作成事例10選
— 木内翔大@SHIFT AI代表「日本をAI先進国に」𝕏 (@shota7180) December 6, 2023
AnimateAnyoneが話題になる中、MagicAnimeteが更なる注目を集めた
こちらはPV動画だけでなく、実際にコードやWebで試せる
注目すべき作成事例10選を紹介:
ブックマーク保存をおすすめします↓ pic.twitter.com/W8gO2I6xbC
MagicAnimateは、TikTokの運営会社が先ほどのAnimateAnyoneに対抗して公開。
AnimateAnyoneの公開が滞っている中、せっせと提供が始まっています。
私も以下のポストを参考に試しました!(かんたん)
【Magic Animateの試し方】
— ひろちゅ~|AI副業 (@hirochuu8) December 5, 2023
画像1枚からAI動画を生成できる「Magic Animate」は、Googleアカウントさえあれば試すことができます!
たった4ステップで完了🔽
1:まず、Google Colabのリンクにアクセスhttps://t.co/mv6dqqSDlO
2:GPUを設定し、再生ボタンを押す… pic.twitter.com/60apJ4fWGq
ただし、可愛いキャラの画像をアップしても、動画にすると何故か肉付きのいい外国人女性になってしまったり、顔がぐっちゃぐちゃになったり、まだ精度は今ひとつのようです。
【まとめ】
— KEITO💻AIディレクター (@keitowebai) December 9, 2023
Magic Animateの解説動画はこちら
https://t.co/X2pk9y1vje
1.適当な動画を撮影して下さい。
2.Adobe Expressで動画サイズを1:1にして下さい。
3. 以下をGoogleコラボで起動。https://t.co/zNenYt0KFA
4.起動した「Vid2Densepose.ipynb」をドライブにコピー。… pic.twitter.com/QIYQkwsGmk
MagicAnimateの凄い点は、自分でモーションを登録できるところ。
上記のポストを見て貰えばわかりますが、アップした動画を「動き」に変換しています。
この動きの素材があれば、先ほどのように好きな人物画像やキャラクターイラストを好きに動かせます。
MagicAnimateの詳細はこちら。
DreaMoving
【顔写真とプロンプトで動画作成】
— オギコ大将軍 (@ogiko_daishogun) December 11, 2023
顔写真とプロンプトがあればダンス動画が作れる「Drea Moving」が登場
これはMagic AnimateやAnimate Anyone超えかもしれない。
これらと違って全身画像と棒人間のようなモーション素材が必要ない。… pic.twitter.com/qbvqfpIZKF
DreaMovingも似たようなツールで、こちらはアリババによって発表されました。まだ論文段階ですがめちゃくちゃ注目されています。
【速報!新たなダンス生成AI登場】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 11, 2023
Animate Anyone や Magic Animateとは異なる、ダンス生成AI「DreaMoving」がアリババが発表!
全身の画像は必要無く、顔のリファレンス画像とプロンプト+ポーズデータで構築するそうです。
続く>>#生成AI #AI動画 #DreaMovingpic.twitter.com/dmM1DMDTTy
顔写真のみでこんな動画ができるって(さっきのは全身or半身の画像が必要)……もうわけわかんないです。続報を待ちます。
DreaMovingの詳細はこちら。
AnimateDiff(Stable Diffusion)
[AI is in wonderland]さんの動画を見ながら制作。
— 老後をカエル@50代でITひとり親方を目指す (@R50BusinessLife) November 26, 2023
stable diffusionでanimateDiffという機能を使うと、このような動画を制作できます🐸#AIイラスト pic.twitter.com/ZxbU16i7UP
AnimaDiffはStable Diffusionの機能みたいです。イラストや写真をこのように動かせて、安定感のある制度がちょっとだけ話題になっています。
最近v2vばかり触ってたけどAIの本道はt2vなりt2iであってほしいと思ってるので久しぶりにテキスト生成練習で初音ミクさん#AnimateDiff pic.twitter.com/GYG4s2ywQ9
— Asaki (@Morning_wood17) December 11, 2023
情報は少ないけどその実力は確か!
他のAIツールの組み合わせでより力を発揮しそうです。
こっちもすごいですね!
— さとり (@satori_sz9) December 2, 2023
AnimateDiffとIPAdapterですが、ワークフローを改善して一貫性の高い動画を作れるようにしたようです。
pic.twitter.com/qx53KvnppT
もうよくわかんないけどすごいです。AnimateDiffの詳細はこちら。
■3DアニメーションAI(空間立体化)
BlockadeLabs
【3Dワールド生成AI × Blenderのワークフロー】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 11, 2023
スケッチから自由に3Dワールドが生成できる @BlockadeLabs でワールドを生成し、Blenderに組み込むデモ。
ただのスカイボックスではなくて3Dってこと...?
今週後半さらに発表があるみたい。#3D #生成AI #skyboxpic.twitter.com/DnLRqsfNE6
BlockadeLabsでは、スケッチから3Dの世界が作り出せてしまうらしいです。
これ面白すぎますよね、線を描いていくだけで3D化できるなんて魔法みたいだ〜!
【誰もが3Dの世界を創造できる時代へ】
— 木内翔大@SHIFT AI代表「日本をAI先進国に」𝕏 (@shota7180) December 12, 2023
酔い注意です...
「BlockadeLabs」で簡単なスケッチから3D空間を生成
簡単にいうと
・簡単な手書き
・数行のテキスト
・生成ボタン
で360度の3D擬似空間が生成できちゃう。
最後まで見てほしい、驚くから。
ツールはこちら>> pic.twitter.com/jJM4Eizn5y
こちらも同様。
【生成AIで3Dゲーム作成!】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 12, 2023
スケッチから自由に3Dワールドが生成できる @BlockadeLabs でゲームがリリースされています。キャラは @CSM_ai にて生成!
クリエイターは @ailovedirector 素晴らしい試み!#生成AI #AI #3DCGpic.twitter.com/mxegKkRLkk
よくわかんないけどゲームも出たらしいです。このゲームの空間がテキストの入力と線だけで作られたってこと……?
》BlockadeLabs《
↑アクセスしてすぐ試せます
Wonder Journey
【1枚の画像から無限に続く映像を生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 9, 2023
WonderJourneyは、制御可能なカメラの軌道に沿って、一貫した持続性のある3Dシーンを作成可能。
この世界が拡張されていく感じは素晴らしい!
続く>>#生成AI #画像生成AI #AIpic.twitter.com/xiqtIbgY2h
1枚の画像からぐ〜んと空間を広げる3D映像が作れるという凄すぎてよくわからないツール。まだ公開前らしく、サンプル動画のみいくつか公開されています。
Wow, generate infinite videos from a single image 🤯
— Alex Carlier (@alexcarliera) December 9, 2023
WonderJourney creates coherently connected 3D scenes along a controllable camera trajectory. Look how running the code three times results in completely different videos!
More examples below ⬇️⬇️ pic.twitter.com/W61mACiseN
低空飛行で旅をしているみたいでいいですね。「Wonder Journey」って秀逸な命名だと思います。
Wonder Journeyの詳細はこちら。
LooseControl
LooseControl was just released! 🤯
— Chase Curtis (@realchasecurtis) December 10, 2023
It enables depth-map conditioned image generation, but unlike ControlNet, the 3D boxes enable less strict control with simple bounding boxes.
More examples [and Github] below ⬇️pic.twitter.com/K5VkzaNDxs
LooseControlはインテリア特化の3D AI技術。
上記の例では、ボックスのようなものを並べるだけで、大小異なるソファの映像が生成されています。
インテリアデザイナーと、内装ガチ勢必見って感じです。(浅)
LooseControlの詳細はこちら。
ReconFusion
【3枚の写真から3Dシーンを再構築】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 8, 2023
現在、NeRFでも3Dガウススプラットでもある程度の写真が必要で、それらを用いてトレーニングすることが必要ですが、ReconFusionはたった3枚の写真から3Dシーンを構築可能。
これが実現すると一気に3Dシーンは進む!
続く>>pic.twitter.com/Sj5rvodCUD
ReconFusionはわずか3枚の画像から3D映像が作れる技術。現在はまだ開発段階ですが、論文が発表されています。
なぜこんなことができるのか謎なんですがすごいですよね。
只用3张照片生成的的一个场景 pic.twitter.com/8SM4IUxAaF
— 小互 (@xiaohuggg) December 8, 2023
本物にしか見えないですよね。
ReconFusionの詳細はこちら。
■ディープフェイクAI
☁️|ディープフェイクとは?
AIを使って、元の映像や音声から人の顔や動作を変更し、リアルな見た目や聞こえ方を持たせた合成映像。実在しないフェイク映像のこと。
動画生成AIの界隈では、AIの性質上歪んでしまう人間の顔を補正する際に活用されています。
ディープフェイクビジネスが一部で流行ってるみたいですね。ここらで胸糞なAIニュースもシェアさせてください^_−☆
もうタイトル見るだけでわかりますが激キモです!
Akool(FaceSwap)
ディープフェイクがお手軽にできちゃうらしいです。先ほどのAI生成のダンス動画の顔グチャグチャ問題をこれで解決できます。頭良い。
#AI動画 #magicanimate
— ろん🌟AI画像クリエイター🎗️Adobe認定プロ資格保持⚜️【在宅フリーの二刀流】オンライン秘書 (@ron_affi) December 12, 2023
こちらはさらに、ディープフェイク"Akool"で顔の修正を入れたパターン
①自作のモーション動画作成
⏬
②好きな画像でMagicAnimate
⏬
③好きな画像で、自作モーションの動画完成!
⏬
④崩れたお顔をディープフェイク
ディープフェイクしたほうがいいね❤ pic.twitter.com/O1Adb8sUr1
自然な仕上がりです。
ブラウザで使えるっぽいのでぜひ!
顔が崩れるところも気になりますが、小顔が苦手なのはSDの実力的にしかたない感じですね。対処法としては入力画(=自分自身)とFaceSwapすることで、かなり救えます。(SVDとかにも使える技です)#MagicAnimate https://t.co/r8gMiWWwJ1 pic.twitter.com/rGcL9C92WC
— Artoid XYZ (@Artoid_XYZ) December 5, 2023
》Akool《
■アップスケーラー(即時高画質化)
Topaz Video AI
・Topaz Video AI
— やま もちお (@new_yama_motio) December 4, 2023
BBCやNetflix、NASA、Appleといった大手での採用実績もあるAIを使ったノイズ除去・アップスケーリング・モーション補間ツール。体験版で試したら実写・アニメを問わず凄まじい効果にブッたまげて即購入。画像をタップして拡大・比較するとツールの威力が良くわかります。 pic.twitter.com/IfmSs45TKU
Topaz Video AIは有料で299ドル。ただ、NetFlix等でも採用されるレベルのクオリティは保証されています。だから昔のアニメとかドラマの画質もあんなに綺麗なのね!
AVCLabs Video Enhancer
【本日の気になる製品】
— MdN Design Interactive (@mdn_net) June 29, 2023
モノクロ動画が自動でカラーにできる動画加工ソフト「AVCLabs Video Enhancer AI」https://t.co/UnYCqOqL4I #動画の高画質化 #動画のカラー化
この専用ソフト、動画の高画質化も可能で、低画質の動画を最大8Kまでアップスケーリングできるようです。画像は使用例です。 pic.twitter.com/hWbTrMin5a
AVCLabs Video Enhancerは月額5280円とのこと。カラー化ができるのはすごいですね。
CapCut Free Online AI Video Upscaler
(動画の2:43〜アップスケール前後が比較されています。)
Capcutのアップスケーラーはブラウザ上で無料で使えます。無料なのでそこまで精度は高くないですが、試してみるのはありだと思います。
》Capcut Free Online AI Image Upscaler(画像)《
》Capcut AI Video Upscaler(動画)《
Upscale-A-Video
Upscale-A-Video was just released and it's so good! 🤯
— Alex Carlier (@alexcarliera) December 12, 2023
It's a temporal-consistent Diffusion Model for video Super-Resolution, and has some of the best results I've ever seen, look at how sharp those lines become!
More details below ⬇️⬇️ pic.twitter.com/PyA8qlozDu
こちらは昔のアニメとかがめちゃくちゃ綺麗になるみたいです。
Upscale-A-Videoの詳細は以下のポストが参考になります。
コードもすでに公開されています。
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 12, 2023
Upscale-A-Video
project:https://t.co/TfuhR3flKI
arXiv:https://t.co/AUVo3T0NVS
Code:https://t.co/qHcsi4Cr2xpic.twitter.com/CUh2kRHbHv
まだ公開はされていませんが公式サイトでお試しできます。
■その他画像・映像関連のAI
分類不可の動画・画像生成AIです。これらも結構注目されているので押さえておきましょう。
● Fliki - ブログやSNSの投稿を即動画に変換
● KREA AI - らくがきがリアルタイムでハイレベルなイラストになる
● Leonardo.AI - らくがきが速攻で超リアルな絵になる
● Magnific.AI - ゴワゴワの写真を即時高画質化
● Window Attention Latent Transformer(W.A.L.T)- Googleらによる新たな動画生成AIの情報公開
● Stable Diffusion ControlNet - 動画のポーズ指定の方法
● Swiftkey - キーボードから直接AI画像生成(DALL-E3)できるスマホアプリ
Fliki - ブログやSNSの投稿を即動画に変換
AI動画生成ガチ。「 flik 」の驚きの機能は....
— たぱ | 重要 AI活用術 (@tapa_kun) December 4, 2023
・ブログ
・テキスト
・PowerPoint
・Xの投稿URL
・Amazonの商品ページ
これを一瞬で、音楽・ナレーション付きで動画にしてくれる。
他SNS用に16:9、1:1の動画サイズを選択できたり
実写・アニメ・3D等モデルも選べる。
詳細はリプ欄に...↓ pic.twitter.com/9GBP6PaEPT
たまたま見つけたのですがこれめちゃくちゃすごい!
パワポや商品ページを元にした、ショート動画みたいなのが量産できそうです。
動画をよく見るとわかりますが、ちゃんとテキストの内容に対応した動画が自動で選択されています。
毎月5分は無料で作れるみたいです!うれしい。
》Fliki《
KREA AI - らくがきがリアルタイムでハイレベルなイラストになる
KREA AIは、リアルタイムでらくがきを高画質イラスト・写真に変えてくれる機能(オーバーレイ)がメインのツール。(たぶん)
誰でも美しいイラストが描けちゃうなんてめちゃくちゃ夢があります。
登録していた@krea_ai の順番が回って来て、試すことができました🔥凄くないですか? 使い方次第で活躍しそうですね!Finally got access to Krea ai, and the experience so far has been incredible👏 pic.twitter.com/7OqY1rms63
— Ayappi (@ayappi_froggy) December 8, 2023
従来の画像生成AIと違って、複雑な呪文を入力せずとも、適当に図形を配置するだけで思い通りの画像が作れるのは嬉しいですね!
【KREA AIでもPS1のキャラをアップスケールできる】
— オギコ大将軍 (@ogiko_daishogun) December 3, 2023
なんの話?と思うかもしれないが
昨日、Magnific AIを使ってのPS1のララのアップスケールをした画像がバズっていた。
KREA AIでも同等のことはできる。
Magnific AIは有料だがKREA AI は無料で使える。
KREA… pic.twitter.com/HbsYun9ge4
KREA AIは昔のゲームキャラの高画質化もお手のもの。比較されているMagnific.AIはこの後取り上げます。
公式によるとKREA AIはベータ版なので無料!ただし順番待ちがあるので、ウェイティングリストに登録しておきましょう。
》KREA AI《
↑サイト開いてすぐ試せておもろいです
ちょっとしたハックですが、英語圏及び海外のツールの利用料金を調べたい時は「ツール名+pricing」で検索するとすぐ出ます。無駄にサイトを行き来しなくて済むのでおすすめです。
Leonardo.AI Realtime Canvas- らくがきが速攻で超リアルな絵になる
超使えるのが来た。
— ホーダチ | AI✖️Cloud✖️Dev | 外資×ひとり法人(Axcxept Founder) (@hokazuya) December 12, 2023
ロゴじゃなくて超リアルな絵。
このレベルのお絵描きレベルでいけるのか。
絵心ゼロだから、ロゴも、絵も、AIに頼る。 pic.twitter.com/wvL5tU8C3f
Leonardo.AIは無料で使えて商用利用可能な画像生成AIで、最近私もよくiOSアプリから利用しています。
この落書きをリアルタイムでハイクオリティな絵や写真に変換する新機能も無料!「Early Access」と書いてあったので今だけかもしれないです!実際に試してみました。
![](https://assets.st-note.com/img/1702432508997-R10D5sqfHT.png?width=1200)
大体の構図(カラーも変えられる)+プロンプトで自由に画像生成できます。
落書きから生成できるのもすごいけど、そもそもリアルタイムで画像が変化していくのがすごすぎる!
![](https://assets.st-note.com/img/1702432709055-R1Ymcmw7G2.png?width=1200)
デフォだとおそらく背景が黒で、暗〜い画像ができちゃうので、最初に背景を真っ白に塗るのが良さそうです。無料で登録して是非お試しください。
Magnific.AI - ゴワゴワの写真を即時高画質化
絵師さんが「Magnific AI」使いこなしてます!
— ひろちゅ~|AI副業 (@hirochuu8) December 4, 2023
手書きでラフを描いてディテールアップ。
自作のラフを元にしており、著作権的に何の問題もありません。
ガンガン活用しちゃいましょう✨pic.twitter.com/8A40ulvFAa
Magnific.AIは、なんだかぐちゃぐちゃ違和感ありくまくりのAI生成画像やら、昔のガビガビの画質終わってるイラストなどをすごく美しくしてくれる画期的なツール。
Magnific AIはこちら pic.twitter.com/6y2f4u1VnJ
— オギコ大将軍 (@ogiko_daishogun) December 3, 2023
元から綺麗な写真や、人間の顔もより美しくしてくれるみたいです。
ただし有料で月額39ドル〜なので、セレブの方におすすめです!
Window Attention Latent Transformer(W.A.L.T)- Googleらによる新たな動画生成AIの情報公開
Google等がフォトリアリスティックな映像生成モデルのWindow Attention Latent Transformer (W.A.L.T)を提案。
— bioshok(INFJ) (@bioshok3) December 11, 2023
画像と映像を共有潜在空間にエンコードし共同で学習。Transformerベースの潜在映像拡散モデルで低負荷で映像生成、学習可能。
下記のように一貫した360°回転映像もプロンプトで生成可。 https://t.co/EKFYy8DTXy pic.twitter.com/eMPW77gt3i
Googleによる、テキストから動画への動画生成AIモデルのサンプル動画が公開されました。
まだ研究段階だと思いますが、生成された動画を見るにかなりクオリティが高い!歪みなど違和感がない!
続報を楽しみに待ちましょう。詳細が気になる方はこちら。
Stable Diffusion ControlNet - 動画のポーズ指定の方法
【推しの子が踊る】あなたが好きなAIアイコンが好きなダンスで踊り出す。生成AIで問題になるのが顔や体のイメージを維持できないこと。でもこの方法ならディープフェイクを使わずとも一定のクオリティーを維持することができる。しかもディープフェイクは顔のみだけどコレは服装も可能。詳細は↓です。 pic.twitter.com/BojwlSURjw
— しげ | 超サラリーマン (@papapapaman7) December 11, 2023
こちら画期的っぽいので共有します。
好きな画像+ダンス動画の素材+Stable DiffusionのControlNetで、ダンス動画が作れちゃうみたいです。
Stable DiffusionのControlNetは、好きなポーズを読み込ませた上で画像生成ができる、みたいな機能らしいですが、おそらくそれが動画でもできる的なことです。
》Stable Diffusion ControlNet v1.1《
Swiftkey - キーボードから直接AI画像生成(DALL-E3)できるスマホアプリ
え、このキーボードやばすぎる🤯 Xアプリから離れずにキーボードからそのままDALL•E3で画像生成出来てしまった笑 画像4枚でる。しかも何と、GPTで文章のトーン6種類をサジェスチョンして編集までしてくれる機能とかもついてる。これで無料は意味わからんレベル。SwiftKeyってやつ。 pic.twitter.com/eW1nhIsGy8
— 石川陽太 Yota Ishikawa (@ytiskw) December 11, 2023
考えた人天才!と思ったのがこちらのSwiftkey。Microsoftに買収されて、Bingの画像生成AI「Image Creator」(使用モデルはOpenAIのDALL-E3)がキーボード上に組み込まれたみたいです。iOSにもAndroidも対応しています。
キーボードから直接画像生成をして、そのままポストできます。
あ、あとひょっとしたら、English を Preferred Language の上にしているのか、Region を US にしているのが、影響している可能性ありです!
— 石川陽太 Yota Ishikawa (@ytiskw) December 11, 2023
スマホの設定が大事みたいです。使えない人は、「言語設定で英語を優先しているか、地域を米国に設定している可能性がある」ということだと思います。
わかりやすい記事がnoteにありました!
》Swiftkey(iOS)《
》Swiftkey(Android)《
まとめ:動画生成AIの勢いは止まらない
最近話題の動画・画像関連生成AIツール一覧でした。いかがでしたでしょうか、結構衝撃的なものも多かったかと思います。ずっと動画生成AI関連の情報を一つにまとめたくてうずうずしていたので、まとめ上げられてよかった〜!
私のお気に入りはLeonardo.AI Realtime Canvasです、面白すぎです。
みなさん動画生成AIの波に乗り遅れないよう、日々最新情報をアップデートしていきましょう!
■関連記事
この記事が参加している募集
この記事が気に入ったらサポートをしてみませんか?