【爆速】RTX4070tiでAI画像生成を4秒で終わらせるTensorRTの使用方法を実証実験してみたという動画Youtube

メモ

３倍速い！TensorRT
stable-diffusion-webui-tensorrt
私の環境：i7107000　RTX4070ti 　メモリ64GB

どんなこと？

NVIDIAのTensorRTでStableDiffusionWebUIが2倍速~5倍
stable-diffusion-webui-tensorrtという拡張機能
RTX4070tiで約70%の高速化

注意事項

stable-diffusion-webui-tensorrtは実験機能
通常のSDWebUIでは動作しない
新しくSD web UIを別フォルダにインストール
xFormersは使わない

Windowへのインストール

Windowsにあらかじめインストールしておくソフト

Visual Studio Community（Visual Studio Build Tools）

https://visualstudio.microsoft.com/ja/vs/community/

CUDA Toolkit

https://developer.nvidia.com/cuda-toolkit

StableDiffusionWebUIのインストールと起動

dsd5

StableDiffusionWebUIのdevバージョンのインストール

※インストールだけで起動しないでください。
<aside> 💡 >cd c:\sd5

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

インストールが終わったら起動せずにモデルをDLしてフォルダに入れます。
</aside>

モデルのコピー（今回利用したモデル）

https://civitai.com/models/43331?modelVersionId=82446
D:\sd5\stable-diffusion-webui\models\Stable-diffusion に入れます。

開発モードにします。

>cd stable-diffusion-webui
>git checkout -b dev origin/dev

ここにコメントがでます。
Switched to a new branch 'dev'
branch 'dev' set up to track 'origin/dev'.

かまわず下記を入力して起動します。

>git log -1

TensorRT関係のコピー

StableDiffusionWebUIの所定のフォルダにコピーするもの
D:\sd5\stable-diffusion-webui\extensions\

stable-diffusion-webui-tensorrtのコピー

https://github.com/AUTOMATIC1111/stable-diffusion-webui-tensorrt
D:\sd5\stable-diffusion-webui\extensions\stable-diffusion-webui-tensorrt-masterの下に置く

NVIDIA TensorRTのコピー

https://developer.nvidia.com/tensorrt

WebUIで設定（WebUIを起動）

• コンバート（２段階）

  • ONNXへのコンバート

  • tensorRTへのコンバート

    • D:\sd5\stable-diffusion-webui\models\Unet-onnx\majicmixRealistic_v5.onnx

    • コンバート時間は約20分程度

• 設定変更

  • WebUIの「setting」－「Userinterface」－「Quicksettingslist」に「sd_model_checkpoint」と「sd_unet」を追加

  • 「Apply settings」のあと「Relad UI」

以上で完了です。