最新AI研究&検証

本

最新AIの最前線に立つ技術、理論、応用を深掘りするマガジンです。検証結果や研究の記事をまとめています。

運営しているクリエイター: SUTO💡

#動画

"画像+モーション=話しているような動画"が作れる「LivePortrait」を試してみる

LivePortraitとは単一の画像 + モーション = リアルなビデオができちゃうものです。 69Mの高品質フレームでトレーニング済み、RTX 4090 で 12.8msという速さ、効率的で制御可能かつオープンソース。いいプロジェクトです！！ 🌐プロジェクトページ類早速試してみるソースの画像には日本人女性、モーションの元となる動画には白人女性を入れて試してみます。出来上がった動画がこれです。ふむふむ、このような感じになるのですね！処理はだいぶ早かったです。口が

自動で動画にあった効果音を生成する「FoleyCrafter」を試してみる

FoleyCrafterとはまた便利そうなAIツールを見つけてしまいました…！ FoleyCrafterは、動画のための高品質な効果音をテキストプロンプトから生成するフレームワークで、事前に学習されたテキストからオーディオモデルを使用しセマンティックアダプターで音を映像に適合させ正確な同期を行ってくれるとのこと。もろもろいっぺんに勝手に動画の効果音を作ってくれるなんて超便利です。早速試してみたいと思います！ 🌐プロジェクトページ類早速試してみる音無しの動画をつくるにう

動画での深度推定AIの「ChronoDepth」を試してみる

「ChronoDepth」とはChronoDepthは超簡単に使える動画での深度推定AIツールです。深度推定モデルをビデオに直接適用すると、フレーム間で不整合が生じる可能性がありますが、実際そういうちょっとした不整合でつかいものにならない残念さはクリエイターならみんな実感するとこと。これはそういうこともなく簡単にできちゃうとのこと。ありがたや〜〜なお、モデルはStable Video Diffusion (SVD)を活用しているとのことでした。 🌐プロジェクトページ類

プロンプトで簡単に動画を作成できるAIツール「EasyAnimate」を試してみる

EasyAnimateとはEasyAnimateはその名のとおり、誰でもプロンプトで高解像度でちょい長めな動画を簡単に生成できるAIツールです！わかりやすいUIで短時間で簡単に生成できるとのこと。主な特徴・transformer-based diffusion modelsとVAEを活用・モーションモジュール、U-ViT、Slice-VAEを組み込んでいる・24fpsで最大6秒(144フレーム)のビデオを生成可能 🌐プロジェクトページ類早速試してみるデモのUI

画像と音声からリップシンクを生成するAIツール「DreamTalk」で遊んでみる👄

AliBabaが公開している画像を音声に合わせて喋らせるAIツール（トーキングヘッド生成フレームワーク）「DreamTalk」。 AIサービスではHeyGenやDIDなどもありますが、オープンソースで試すことができる状態でしたので試してみました！ Githubのページはこちら。デモはHugging Faceから！早速アクセスしてみます。アバター画像、音声ファイル、感情を選んで押すだけで良いUI ということで大変わかりやすいですね！それじゃ早速いじって行きますか

現時点オープンソース最強のディープフェイク動画制作ツール「FaceFusion」をいじってみる

高速かつ簡単にディープフェイク動画を作成できると話題の「FaceFusion」。いろんなところで悪用厳禁！と言われているので、どんなものだろうかと試してみました。 githubのページはこちら↓ インストールして立ち上げた画面は結構細かく設定項目がありそうですが、sourceとtargetを入れてSTART押せばできそうな感じがあり、これもUIがわかりやすくて素敵です。今回もディープフェイクを試すモデルとしてモナリザさんにご登場いただきます！それでは早速この画像

動画の背景抜きに便利そうな🎞️ Video Background Removal Tool 🎥を試して合成した動画をザクっと作ってみる

Hugging Faceでたまたま便利そうなAIツールを発見してしまいました。その名も「Video Background Removal Tool」。そのままですね！動画の背景削除ツールです！これがあるとクロマキーによるキーイング処理(合成)が楽になりそう〜！ってことで試してみました！デモ画面でのUIはやはり超シンプル。今回はガチャガチャでGETした寝てる白猫ちゃんの動画を撮って試したいと思います。動画を撮ってセットして… ※タイムアウト処理を避けたく高

ComfyUIでstable zero123の3D動画生成を試してみた記録

12月、ちょっと体調を崩したり師走で忙しかったりしてて気づいたらStable Zero123なる高品質3Dオブジェクト生成モデルが発表されているではないですか…！ stable-zero123のモデルはこちらから。もう新年になってしまいましたが、これを早速いじってみたいと思います！どうやらすでにComfyUIでサポートされたているみたいなので良さげなnodeを検索。今回はこちらのOlivioSarikasさんのComfyUIのworkflowでやってみたいと思います

ComfyUIでのStable Video Diffusionをたくさん試してみた記録（GIF大量生産）

ComfyUIが公式にstable video diffusion（SVD）に対応したとのことで早速いろいろな動画で試してみた記録です。 ComfyUIのVideo Examplesの公式ページは以下から。 ↓詳細設定初めて試してみた時のポスト↓ この調子で試しに作ってみたのがこの動画。ほかにも試してみて結構きれいに出る動画と苦手な動画が見えてきたので下記に動画例を貼っていきます。最初はきれいにできた感じのある動画から。割ときれいにできたものちょっと難