見出し画像

AIデータセンターのトラフィックがインターネットをしのぐ

ai300lab

GTC 2024でNVIDIAのCEO Jensen HuangがAIデータセンターのトラフィックはインターネットをしのぐと言っていました。それについてお話しします。

BlackwellのNVLinkのデータ帯域

GTC 2024でJensen HuangはBlackwellのスーパーコンピュータの基幹部分（リーフ・スパイン・アーキテクチャのスパイン部分）が170TB/secの帯域を持っていると述べました ([NVIDIA])。最初に聞いた時には何を言っているのかわかりませんでした。

世界のブロードバンドネットワークのデータ帯域

総務省の「令和5年 情報通信に関する現状報告の概要」によれば2022年の我が国の固定系ブロードバンドサービス契約者の総ダウンロードトラフィックは29.2Tbpsです。つまり 3.65TBpsです。ちなみにモバイル系の総ダウンロードトラフィックは5.85TBpsですので桁が一つ小さくなります。ここではモバイルは無視することにします。
IT系での日本の世界シェアはだいたい8%くらいなので、世界のブロードバンドの総ダウンロードトラフィックは概算推定45.625Bpsです。

3万個のBlackwellチップの帯域

3万個のBlackwell チップをラックに詰め込んだNVIDIA製のAIコンピュータ1個の基幹部分トラフィックの容量が世界のブロードバンドの総ダウンロードトラフィックの4倍近くあることになります。
もちろん、容量全部がフルに使われているとは限りません。生成AIの学習は非常にバースト性が高いです。個別のチップの学習が終了したときに一斉に通信が起こります。ただし、GTC 2024基調講演のなかでJensen HuangはGPUは非常に高価なのでフル稼働するために全力をあげている、と述べています。
このようなラックが何万とあるので、それらの総トラフィックがインターネットを桁違いに越えるのは想像に難くないです。
Blackwellチップは1個7万ドルと言われています。最新のNVIDIAの四半期のAIデータセンタ売上が225億ドルです。データセンタ売上はケーブルとかも含んでいるのでざっくり3割がチップとしても推定67.5億ドルです。今はHopperが主ですが、これが来年同額のBlackwellと置き換わるとして四半期で9万個以上、年間では36万個も出荷されることになります。
ピーク速度をまるまるは使わないにせよ、毎世代NVLinkの速度はあがっているのでピーク利用率が10%未満ということはないでしょう。利用率が10%でも十万個単位の個数をかけると大変な数字になります。

世界のデータ通信の中心

世界のデータ通信の中心がいまや生成AI開発戦争をするAIデータセンターの中枢部にあります。
GTC 2024でJensen Huangの言ったことは額面通りの内容のようです。
平均トラフィックとバーストトラフィックを比べるのは多少乱暴ではあります。それでもインターネット全体とデータセンタ内トラフィックが比較の対象になっていることが驚きです。
世界のデータ通信の中心がスパムメールだったり映像通信だったりした時代が過去のものになっているのは驚きです。
TCP/IPでもなんでもないNVLinkによってつながれたGPU間の相互接続ネットワークが世界の最大のデータ通信を実現しています。
TCP/IPの時代から生成AIへの時代の変化を感じます。

むすび

世界のデータ通信の中心がもはやインターネットやウェブではないというのは驚くべきことです。10年前には想像もできなかった景色が今、広がっています。遅まきながら、この変化が生み出す社会へのインパクトについて頭のギアを切り替えていかなければなりません。

参考文献



この記事が気に入ったらサポートをしてみませんか？