Photo by
shiny_mango917
AI（人工知能）の電力消費問題を解決しよう
背景
米誌ニューヨーカーの記事（3月9日付）によれば、OpenAIが提供する対話型AI｢ChatGPT｣は1日当たりおよそ2億件のプロンプト（指示）に対応するため、50万キロワット時（kWh）超の電力量を消費している模様だ。
GPUの乗算回路を工夫すれば良いのでは
AIの計算はほぼほぼ乗算回路なんでしょうね。SRAM、外部のDRAMのリードでも電力は喰いますが、でかいヒートシンクはGPUチップに付けてるでしょ？
以前のNote
提案
GPUの乗算回路において動的にビット幅や計算精度を動的に調整する
verdec（インド式）乗算器か他の乗算器でも良い。
ニューロンの重みや出力範囲によって計算ビット幅（精度）を動的に可変する
順伝播と逆伝播の計算で計算ビット幅を可変する
桁落としした出力ビットには乱数を出力するモードを追加する
命令
RISC-Vでは
単精度浮動小数点乗算命令は
fmul.s f1, f2, f3
f1 = f2 * f3
仮数部の計算は乗算ですから、ここに用いる。
DL用乗算命令は"fmul.n"とでもしましょうか。n:neural
CUDAも似たようなものでしょう？
fmul.n f1, f2, f3
f1 = f2 * f3
所感
AIのアルゴリズム改良が一番効くのでしょうが
（昼休み終わり・・）
この記事が気に入ったらサポートをしてみませんか？