見出し画像

AI半導体はAI時代の総合格闘技: NVIDIAの三位一体の強み

ai300lab



はじめに

NVIDIAの株価が上昇し、Microsoft, Appleに続く米国企業第3位に躍り出ました。Amazon, Googleとの差はわずかですが、半導体企業がGAFAの一角に割って入ったのはすごいと思います。生成AIの追い風を満帆に受けて、まだまだ上がるとみられています。
1999年から2014年までの15年で株価10倍になったのですが、その後の10年で200倍近くになっている驚異的な成長です。
世界一のGPU企業としてそのAIでのポジショニングと半導体企業としての実力は折り紙付きです。今回はソフトウェアに強い半導体企業としてのNVIDIAについてお話しします。

NVIDIAの三位一体の強み

NVIDIAは世界一のGPU企業として画像処理においては常に先頭を走ってきました。それだけで10倍に成長したのですが、その後、さらに2桁上回る成長を支えたのは他社にはない三位一体の強みです。


ソフトウェア力

NVIDIAはCUDAというGPU向けの開発実行環境に早くから注力してきました。グラフィック処理をするためにはシェーダプログラミングと呼ばれる画像の並列処理のプログラムを支援することが不可欠だったからです。これによりNVIDIAはソフトウェアの並列実行について深いノウハウを得ました。
最初にソフトウェアの力を半導体設計に生かしたのはGoogleです。Googleはニューラルネットワークの学習でくりかえし最急降下法で最適パラメータを探す場合に10ビットの精度があれば十分ということを発見しました。これは驚くべき結果です。Googleはさらにこの知見を拡大し、8ビットでも十分であることを認識しました。Googleの設計した深層学習専用のプロセッサ(TPU: Tensor Processing Unit) は8ビット小数点を実装しています。2015年の第一世代 TPU v1から8ビット小数点を具備しています。

ネットワーク技術

生成AIにおいては通常の画像処理を超えた大量のデータの学習が必要になります。このときにソフトウェアだけでなく、GPU同士を高速につなぐ技術が必要になります。NVIDIAはNVLink, NVSwitchと呼ばれるネットワーク技術を持ち、世代毎に高速化を図っています。AIの学習のスケーラビリティを図るうえでは重要な技術です。

設計技術

単なる半導体設計ではなく、AIとAIのスケーラビリティを考えて、設計しています。以下、Hopperアーキテクチャで三位一体の力が見られる部分をお話しします。

AI半導体は総合格闘技


AI半導体は総合格闘技として半導体設計だけでなくAIとネットワークをマスターしていることが重要です。
生成AIの学習はけた外れの規模を必要とします。大規模言語モデルが必要とするスケーラビリティを実現するにはそもそもボトルネックとなるシステムユニットとのデータのやりとりを最小限にすることが必要であり、システム内でのデータ転送を高速にすることが求められます。

Hopperアーキテクチャを見て一番感じるのはTransformer Engineの実装です。TransformerとはGoogleが発明した深層学習のアーキテクチャで、深層学習の決定版と言われるものです。今や、新しいアーキテクチャを研究する必要はないという人もいるくらいです。OpenAIのGPTもTransformerをベースとして設計されています。
HopperのすごいところはTransformer処理を半導体レベルでサポートしていることです。Transformer Engineを持ち、8ビットと16ビットの小数点を混在させることを可能にしています。GoogleはもともとAIには10ビットあれば十分と言っていました。8ビットでほぼ大丈夫とはいえ、16ビットで計算したい場合もあるでしょう。NVIDIAのTransformer Engineは半導体レベルでこの混在をサポートしています。
Hopperの前のAmpereやAda LovelaceアーキテクチャではTensorコアのサポートにとどまっており、Transformer Engineが導入されたのは2023年のHopperからです。とはいえ、設計に2年くらいはかかっていると思うので、2021年にはすでにTransformer Engineの設計にはいっていたと思われます。Transformerの発表が2017年ですから相当早い時期にTransformerの底力に気づいていたと思われます。すごいです。
2017年にTransformerが誕生してから、その後の6年くらいは、AIの研究はスケーラビリティをどうするかに費やされました。Transformerを活かして大規模学習をするにはその周辺のネットワーク技術が不可欠です。
NVIDIAの強みはAI学習、ネットワーク技術が半導体設計技術と一体になっているところです。AI用GPUの第一チョイスとして生成AI競争の最前線で学習のリアルからノウハウを獲得する機会が存分にあったと思います。

AI半導体競争


AI半導体は熾烈な競争になっています。GPUの奪い合いとともにMicrosoft, Meta, Alphabet, Amazonともに自社でAI半導体の開発を進めています。中国もGPU規制に対応するために自国開発を進めています。日本も国産AI半導体の開発を官民一体で進めています。
とはいえ、総合格闘技としてのAI半導体を半導体技術だけで勝ち抜くのは難しいです。日本でもAI、ネットワーク、半導体設計の三位一体の技術開発が求められると思います。

おわりに

NVIDIAの株価は大幅に上昇しているので、2024年2月21日の四半期決算発表後には大きく動くと予想されています。その結果の如何にかかわらず、生成AIの追い風は当分続くと予想されます。
3月には次のGPUアーキテクチャが発表され、それは最新のNVIDIAのAIの知見を織り込んだものになると思われるので楽しみです。

参考文献


この記事が気に入ったらサポートをしてみませんか？