見出し画像

NVIDIAのポストBlackwellアーキテクチャを予想


はじめに

生成AI時代の勝ち組 NVIDIA, Microsoft, OpenAIの中でもNVIDIAの快進撃が止まりません。いよいよ時価総額3兆ドルを達成したNVIDIAの次の進化を考えます。

GPUアーキテクチャの生成AI対応

Ada Lovelace アーキテクチャの生成AI対応(2世代前)

Tensor CoreにFP8が導入されました。

Hopperの生成AI対応(1世代前)

TensorコアにFP8/FP16の混合精度を導入しました。Googleが深層学習には10
ビットあればいいという発表をしましたが、8ビットだけではきつかったようです。
Transformerを直接実行する16ビット浮動小数点と8ビット浮動小数点を扱うTransformer Engineを導入しました。

Blackwellの生成AI対応(最新世代)

第二世代Transfromer Engineが導入され4ビット浮動小数点や6ビット浮動小数点がサポートされました。
単にチップ内部を高速化するだけでなく、72個のGPUを持つドメイン内での高速通信や、クラスタ間での高速通信を通じて、大規模言語モデルの学習を高速化させています。高速のネットワークスイッチによる柔軟な大規模化を指向しています。AIデータセンターソリューションを強化しています。チップ、ネットワーク、ソフトウェア開発環境のすべてを提供するフルスタック・ソリューションが強みです。

次世代アーキテクチャの予想

GoogleやOpenAIが本気で飛躍的精度向上をねらっているなら、人間の生成するデータによる学習の限界を見越して、AIが生成するデータで学習する方向に行くと思います。これをNVIDIAと共有して、NVIDIAがそれに対応するアーキテクチャを出すとしたら、チップ上にデータ生成する部分を埋め込むことになると思います。

考えられる方法は3つあります:

  • チップ上に生成ユニットと学習ユニットを混在

  • チップ上に生成データを蓄積するメモリを増設

  • 生成用チップと学習用チップを高速結合

一番簡単なのは三番目ですが、どうでしょうか。
次の革新は、学習データ生成までの学習ライフサイクルまでをチップ化する、と予想してみました。

おわりに

NVIDIAの次世代生成AI用アーキテクチャを個人的に妄想していみました。COMPUTEX 2024でNVIDIAのJensen Huangは2025年にはBlackwell Ultra、2026年にはRubinをリリースすることを予告しました ([NVIDIAc]) 。Rubinにはどんなアーキテクチャ的革新が盛り込まれるのか楽しみです。

参考文献

  • [ai300lab_a] AI半導体はAI時代の総合格闘技: NVIDIAの三位一体の強み https://note.com/ai300lab/n/n1ebafffd0903 2024年

  • [ai300lab_b] NVIDIAはAIデータセンタ・ソリューション・カンパニー https://note.com/ai300lab/n/n15767d260259 2024年

  • [NVIDIAa] H100 Transformer Engine が AI トレーニングを加速、精度を損なわずに最大 6 倍のパフォーマンス向上を実現 https://blogs.nvidia.co.jp/2022/04/07/h100-transformer-engine/ 2022年

  • [pcwatch] AI特化設計になったNVIDIA Blackwell、並列性を向上する仕組みが強化 https://pc.watch.impress.co.jp/docs/column/ubiq/1577897.html 2024年

  • [NBIDIAb] 広い地平線:NVIDIA の基調講演が指し示す AI のさらなる進化
    https://blogs.nvidia.co.jp/2023/09/06/hot-chips-dally-research/ 2024年

  • [NVIDIAc] NVIDIA CEO Jensen Huang Keynote at COMPUTEX 2024 https://www.youtube.com/watch?v=pKXDVsWZmUU NVIDIA 1h47m39s 2024年

  • [日テレnews] そのCEOは「もはや神」──エヌビディア、世界2位の時価総額 “アップル超え”470兆円 圧倒的な「9割シェア」の理由 https://news.yahoo.co.jp/articles/bb8ccf805ed623956b8001f84bbbd7f877f9f9f4 2024年

この記事が気に入ったらサポートをしてみませんか?