
LLM(GPT-3)と人の消費電力の比較
前にもすでに計算したと思うが,最近のモデルでの結果を再計算した.
どのような結果になるだろうか.みてみよう.
実際のGPTなどの大規模なニューラルネットワークと、人間の脳の消費エネルギーを比較するのは興味深い話題です。それぞれの消費エネルギーの規模を確認し、その違いを計算してみます。
1. GPTモデルの消費エネルギー
大規模言語モデルであるGPT-3のようなモデルの消費エネルギーを例にとります。GPT-3は約1750億のパラメータを持ち、トレーニングにはかなりの計算リソースが必要です。
GPT-3のトレーニングの消費エネルギー
以下の情報はおおよその推定値です:
消費電力:トレーニングに用いられるGPUクラスター(例:NVIDIA V100など)の消費電力は1台あたり約300Wです。大規模なクラスターでは数百台のGPUが使用されることがあります。
トレーニング時間:数週間(例えば、100万GPU時間以上)。
トレーニング全体の消費エネルギー:推定では、GPT-3のトレーニングには 数百MWh(メガワット時)のエネルギーが消費されます。例えば、推定で 約1287 MWh とする報告もあります。
1MWh = 3,600,000,000J(ジュール)なので、1287MWhは次のようになります:
[
1287 , \text{MWh} = 1287 \times 3,600,000,000 = 4.6332 \times 10^{12} , \text{J}
]
つまり、GPT-3のトレーニングには 約4.6兆ジュール のエネルギーが必要です。
推論時の消費エネルギー
推論(モデルの利用時)のエネルギー消費はトレーニングに比べて少なく、1リクエストあたりの消費エネルギーは数ジュールから数十ジュール程度とされています。リクエスト回数が増えると総消費エネルギーも増大します。
2. 人間の脳の消費エネルギー
人間の脳のエネルギー消費量は比較的一定で、以下のように見積もられています:
消費電力:人間の脳は平均で 約20W のエネルギーを消費します。
1日あたりのエネルギー消費:1日のエネルギー消費量は次のように計算されます。
[
E = 20 , \text{W} \times 86400 , \text{s/day} = 1,728,000 , \text{J/day} , \text{(約1.7 MJ)}
]
1年間のエネルギー消費:
[
E = 1,728,000 , \text{J/day} \times 365 = 631,680,000 , \text{J/year} , \text{(約631.7 MJ)}
]
3. GPT-3と人間の脳のエネルギー消費量の比較
GPT-3のトレーニングに必要なエネルギーは約 4.6兆ジュール(4.6 TJ)。
一方、人間の脳は 年間約631.7MJ(メガジュール) のエネルギーを消費します。
したがって、GPT-3のトレーニングに必要なエネルギーは 約7300人の人間の脳が1年間に消費するエネルギー に相当します。
4. 推論時の比較
推論時の1回の応答で消費される数ジュールのエネルギーは、人間の脳が数秒間に消費するエネルギーに相当します。例えば、脳が1秒あたりに消費するエネルギーはおよそ0.02Jですので、1回の推論は脳の活動時間に換算するとほんの数秒から数分のエネルギー消費に相当します。
結論
トレーニング時のエネルギー消費:GPT-3のトレーニングは非常にエネルギー集約的で、人間の脳の1年分のエネルギー消費と比較しても数千倍以上の差があります。
推論時のエネルギー消費:1回の推論で消費されるエネルギーは、人間の脳が数秒間活動するのと同じくらいです。
つまり、トレーニングは非常に多くのエネルギーを必要としますが、推論時の消費エネルギーは人間の脳に近い量で済んでいます。
かなり人間の脳に近い状況になってきているようだ.
ただ,トレーニング時は大きな消費電力を持っている.人間も確かにトレーニングは疲れるし,消費電力が大きいのだろう.
トレーニング時の消費電力が人の方が小さいようなので,どこまでそこに近づけるか,もしくは人間よりも効率が良くなることもありうるのか,色々と考えることがある.