【AI用途】GPU利用率に関して注意すべき事【数値計算】

3Dレンダリングやゲーム用途だとあまり気にする事はないのですが、AI等の科学計算用途では注意しなければならない事があります。

GPU利用率（Flux.1生成時）

GPUに限った事ではなくCPUにも言えることですが、見かけの使用率が100%に達しても、必ずしも効率よくコアを利用しているとは限りません。

使用率を食うwait処理が発生している時は、100%使用率になっていても、実は何もしていない事（待ってるだけ）があります。

では、何を基準に「効率よく」本来の性能を出しているのかを判断すればいいのかという話ですが、利用電力量が最も信頼できる指標です。hwmonitorなどのツールを利用すれば電力量を取得する事ができますが、上記のWindows標準のタスクマネージャでも「温度」を見れば確認できます。

100%なのに温度がイマイチな例（WSL2でGPU利用）※ さらにtensorコアも利用していない

自分のGPUの最高温度をあらかじめ確認しておいて、その値になっていれば、ボトルネックなく最適動作していると言えます。筆者のGPUの場合、70〜74℃あたりがCUDA利用時の最高値です。

WSL2のように構造的な問題（必要なオーバーヘッド）は仕方がありませんが、GPUを利用するプログラムのオプションを調べて調整するなどで改善できる可能性があります。