最新AI研究&検証

本

最新AIの最前線に立つ技術、理論、応用を深掘りするマガジンです。検証結果や研究の記事をまとめています。

運営しているクリエイター: SUTO💡

#画像

任意の画像に対する質問になんでも答えてくれるミニマムオープンソースAIツール「moondream」を試してみる

moondreamとはMoondream は任意の画像に対して現実世界の質問に答えることができるコンピュータービジョンモデル。オープンソースで配信されています。現在のモデル市場からすると非常に小さく、パラメーターは 16 億しかないとのこと。この小ささで、携帯電話などを含むさまざまなデバイス上でローカル実行できるようになっているのが売りみたいですね。プロジェクトページ類🌐プロジェクトページ類はこちら。試してみるmoondreamは超シンプルにアップロードした画像

任意のオブジェクトイメージをいろんな角度やシチュエーションで再生成できる「🌈CustomNet」を試してみる

画像のオブジェクトイメージを保持しながら、いろんなアングルや位置での背景をコントロールできることで話題になっている「CustomNet」。今回はこちらのモデルを試してみたいと思います。プロジェクトページ類はこちら。こちらがUIです。今回はこちらの三毛猫の招き猫の画像で試してみようとおもいます。いいですね〜これも雑コラが捗りそうです！！動画はこちらから。ボタンぽちぽちするだけであっという間にできちゃうのは便利ですね！使用感も良いです。こういうところ

世界観を保って画像生成するオープンなAIフレームワーク「InstantStyle」を試してみる

物語性を持たせたいときや画風や絵柄を安定させたいときに良さそうなオープンなAIフレームワーク「InstantStyle」。いままで絵柄安定といえばLoRA一択でした。そんななか、画像の写真をアップロードし、その画像スタイルで画像を生成するという LoRA 不要のインスタント生成はかなり便利そうだったので、ちょっと試してみようと思います。プロジェクトページ類はこちら！インストールした後のUIはこんな感じでした。オプションでも色々遊べそうですが、まずはシンプルに

画像と音声からリップシンクを生成するAIツール「DreamTalk」で遊んでみる👄

AliBabaが公開している画像を音声に合わせて喋らせるAIツール（トーキングヘッド生成フレームワーク）「DreamTalk」。 AIサービスではHeyGenやDIDなどもありますが、オープンソースで試すことができる状態でしたので試してみました！ Githubのページはこちら。デモはHugging Faceから！早速アクセスしてみます。アバター画像、音声ファイル、感情を選んで押すだけで良いUI ということで大変わかりやすいですね！それじゃ早速いじって行きますか

ディープフェイク画像制作にStable Diffusionの拡張機能「roop」を使って驚いた件

みなさまもたまにあると思います。いわゆるディープフェイク画像をたくさん作らなければならなくなる時。今回わたしは会社での余興として同僚のディープフェイク画像を作らなかきゃいけなくて作り方を試行錯誤しました。今回は後輩たちと手分けしたらディープフェイク画像は4人分くらい作ればいいことになったので、とりあえず最初はLoRAで作ってみようかな～とざっくり作ってみたけれど、これが微妙でたしかに似ているんだけど学習画像にかなり引っ張られて顔だけそのままでいろんな恰好をさせるのがむ