StreamDiffusionのサンプルとデモをWindowsでとりあえず動かしてみる

環境構築

公式のGitHubのInstallationのまま進める

新しいwindows環境なので色々入っていない

まずpythonが入っていない、入れる

仮想環境構築はvenvでもcondaでも両方書いてあるが、とりあえずcondaにした。

condaも入っておらず入れる。

Windows版Anacondaのインストール - python.jp

CUDAは12.2が入っていた、とりあえず12.1の方のインストール手順をやる。

以上、特につまづくところはなかった。

samples/screen/を試す

StreamDiffusion/examples at main · cumulo-autumn/StreamDiffusion · GitHub
https://github.com/cumulo-autumn/StreamDiffusion/tree/main/examples

ここの指示通りにやれば動く

気になるのはスペックに対してのパフォーマンスだが、WindowsマシンはRTX2080TiとCore i9-9900X 3.50GHzで、7FPSくらいだった。

Windowsマシンのある（スペックは十分ではないが）環境に来たので、StreamDiffusionのスクリーングラブからのリアルタイム変換のサンプルをとりあえず動かしてみる
RTX2080TiとCore i9-9900X 3.50GHzだとこのくらい、7FPSかな？ pic.twitter.com/Bo3YJoAONn

— Kousei Ikeda / 池田 航成 (@ikekou) January 5, 2024

demo/realtime-txt2img/を試す

StreamDiffusion/demo/realtime-txt2img/README-ja.md at main · cumulo-autumn/StreamDiffusion · GitHub
https://github.com/cumulo-autumn/StreamDiffusion/blob/main/demo/realtime-txt2img/README-ja.md

こちらは環境が足りなかったので、一手間必要。

node.jsが入ってなかったので入れる。

Node.js — Download Node.js®

pnpmも入っていなかったので、入れる。

インストール | pnpm

あとは特に問題ない、動いた。

StreamDiffusionのリポジトリのサンプルとデモを見て行ってる。text-to-imageのデモをとりあえず動かしてみた。
フロントがHTML/CSS/TSとReactでできてて、キー入力時に前回送信時の文字列と変化度合いを計算して閾値を超えたらfetchしているシンプルな構造で、受けるAPI側のpython側もわかりやすい pic.twitter.com/yWxZ5QQUeH

— Kousei Ikeda / 池田 航成 (@ikekou) January 5, 2024

demo/realtime-img2img/を試す

こっちはパッとうまく動かず時間切れ、また今度リトライする