StreamDiffusionをローカルで遊ぶ

StreamDiffusionってなに？

めちゃくちゃ速い画像生成ができるやつです。

いくつか機能が用意されていて、text2img、img2img、画面キャプチャからの画像生成、vid2vidができます。

個人的にvid2vidが激ヤバで感動しました。
リアルタイムAIお絵描き(?)も高fpsでできちゃう・・・

下のリンクからでも動画が見れるので見てない人は見て欲しい。すごい。

(https://x.com/IMG_5955/status/1731971307732918532?s=20)
(https://x.com/cumulo_autumn/status/1732309219041571163?s=20)
(https://x.com/cumulo_autumn/status/1728768642052182231?s=20)

インストールするよ

はやく遊びたいのでインストールします。
readme-jaあって感動、ありがとう

git clone https://github.com/cumulo-autumn/StreamDiffusion
してから

windowsでpipで環境構築してみる

仮想環境をつくって

python -m venv .venv
.\.venv\Scripts\activate

環境に合ったPyTorchいれて

pip3 install torch==2.1.0 torchvision==0.16.0 xformers --index-url https://download.pytorch.org/whl/cu121

一般ユーザーなのでユーザー向けのインストール方法に従います。
StreamDiffusionをインストールして

pip install git+https://github.com/cumulo-autumn/StreamDiffusion.git@main#egg=streamdiffusion

TensorRTもインストールして

python -m streamdiffusion.tools.install-tensorrt

インストール終わりです。はやい

使ってみる

examplesにあるのをいくつか使ってみます

screen

画面のキャプチャをimg2imgするやつ

そのまえに

pip install -r screen/requirements.txt

上のコマンドを実行して、依存関係をインストールしておきましょう。

次に、examplesの中でscreenを実行します

python screen/main.py

出てくるウィンドウでenterを押すと始まります

つぶれた猫たち

デスクトップに並んだアプリのアイコンたちがつぶれた猫たちになりました、奇妙

txt2img/multi.py

テキストから画像を複数枚生成します

実行はこんなかんじ
python txt2img/multi.py --output ./output --prompt "1girl"
この後に-width 1024とか付けるとパラメータを色々いじれます。

詳しくはmulti.pyに書いてあります

これ

16枚生成してみた

かわいいね

ロードの時間除くとめちゃくちゃ速いです。バケモン

vid2vid

実行前に、

pip install -r vid2vid/requirements.txt

しておきましょう
次に実行です、

python vid2vid/main.py --input path/to/input.mp4 --output path/to/output.mp4

path/to/input(output).mp4を任意のパスに変更してください。

もしエラーが出る場合は動画の比率を1:1にしてみてください。

今までの動画の変換と比べてめちゃくちゃ速くて感動しました・・・

おわりに

読んでくれてありがとう、導入の解説とかではないけど参考になるかもしれないので書きました。

readmeがわかりやすすぎてスラスラ導入できます。
日本語も書いてくれてるし神か。。。？？

あきせんせいが配信で解説してたのでそっちを見ると◎

ここから先は有料ですが、内容は無いので安心してください。
スパチャ的な感じです