最新AI研究&検証

本

最新AIの最前線に立つ技術、理論、応用を深掘りするマガジンです。検証結果や研究の記事をまとめています。

運営しているクリエイター: SUTO💡

#動画

プロンプトで簡単に動画を作成できるAIツール「EasyAnimate」を試してみる

EasyAnimateとはEasyAnimateはその名のとおり、誰でもプロンプトで高解像度でちょい長めな動画を簡単に生成できるAIツールです！わかりやすいUIで短時間で簡単に生成できるとのこと。主な特徴・transformer-based diffusion modelsとVAEを活用・モーションモジュール、U-ViT、Slice-VAEを組み込んでいる・24fpsで最大6秒(144フレーム)のビデオを生成可能 🌐プロジェクトページ類早速試してみるデモのUI

画像と音声からリップシンクを生成するAIツール「DreamTalk」で遊んでみる👄

AliBabaが公開している画像を音声に合わせて喋らせるAIツール（トーキングヘッド生成フレームワーク）「DreamTalk」。 AIサービスではHeyGenやDIDなどもありますが、オープンソースで試すことができる状態でしたので試してみました！ Githubのページはこちら。デモはHugging Faceから！早速アクセスしてみます。アバター画像、音声ファイル、感情を選んで押すだけで良いUI ということで大変わかりやすいですね！それじゃ早速いじって行きますか

現時点オープンソース最強のディープフェイク動画制作ツール「FaceFusion」をいじってみる

高速かつ簡単にディープフェイク動画を作成できると話題の「FaceFusion」。いろんなところで悪用厳禁！と言われているので、どんなものだろうかと試してみました。 githubのページはこちら↓ インストールして立ち上げた画面は結構細かく設定項目がありそうですが、sourceとtargetを入れてSTART押せばできそうな感じがあり、これもUIがわかりやすくて素敵です。今回もディープフェイクを試すモデルとしてモナリザさんにご登場いただきます！それでは早速この画像

動画の背景抜きに便利そうな🎞️ Video Background Removal Tool 🎥を試して合成した動画をザクっと作ってみる

Hugging Faceでたまたま便利そうなAIツールを発見してしまいました。その名も「Video Background Removal Tool」。そのままですね！動画の背景削除ツールです！これがあるとクロマキーによるキーイング処理(合成)が楽になりそう〜！ってことで試してみました！デモ画面でのUIはやはり超シンプル。今回はガチャガチャでGETした寝てる白猫ちゃんの動画を撮って試したいと思います。動画を撮ってセットして… ※タイムアウト処理を避けたく高

ComfyUIでstable zero123の3D動画生成を試してみた記録

12月、ちょっと体調を崩したり師走で忙しかったりしてて気づいたらStable Zero123なる高品質3Dオブジェクト生成モデルが発表されているではないですか…！ stable-zero123のモデルはこちらから。もう新年になってしまいましたが、これを早速いじってみたいと思います！どうやらすでにComfyUIでサポートされたているみたいなので良さげなnodeを検索。今回はこちらのOlivioSarikasさんのComfyUIのworkflowでやってみたいと思います

ComfyUIでのStable Video Diffusionをたくさん試してみた記録（GIF大量生産）

ComfyUIが公式にstable video diffusion（SVD）に対応したとのことで早速いろいろな動画で試してみた記録です。 ComfyUIのVideo Examplesの公式ページは以下から。 ↓詳細設定初めて試してみた時のポスト↓ この調子で試しに作ってみたのがこの動画。ほかにも試してみて結構きれいに出る動画と苦手な動画が見えてきたので下記に動画例を貼っていきます。最初はきれいにできた感じのある動画から。割ときれいにできたものちょっと難