Liang: 電力とエネルギーがAIのボトルネックとなる

1,697 文字

私たちはスタンフォード大学発のスタートアップとして、効率的なコンピューティングに焦点を当てることを目的に設立されました。NVIDIAの成長と、人々が語る素晴らしい数字を目の当たりにする中で、今私たちが直面しているのは、世界が実用化とスケールアップを目指す際に何が起こるかということです。
率直に言って、私たちが十分に議論していないのは、電力とエネルギーが大きなボトルネックになるという事実です。原子力発電所の建設などが話題に上がっていますが、私たちは、AIを大規模に展開する際の電力効率を改善し、企業や国が電力不足に陥ったり、GPUに十分な電力を供給する方法を見出せなくなったりするような限界に直面せずに、どうやってスケールアップできるかということに焦点を当てています。
現在、例えばNVIDIAの1つのラックは100キロワット以上の電力を消費します。これは100世帯分の電力に相当します。私たちの技術は、性能を10倍に向上させながら、電力消費を10分の1に抑えることができます。これが可能なのは、まったく異なるアーキテクチャを採用しているからです。ご存知の通り、NVIDIAのアーキテクチャは数十年前からあるものです。
このグラフィックスGPUアーキテクチャをAI対応の推論用に進化させようとしています。トレーニングに必要な重い計算をすべて行う必要がないため、多くの新しいテクニックを適用できます。そのため、実際にスケールアップする際に必要となる電力、コスト、スペースのフットプリントを大幅に削減することができます。私の考えでは、AI推論はトレーニングの10倍のフットプリントになるでしょう。誰もが利用できる規模に到達する前に、エネルギー効率とコスト効率について考える必要があります。
私たちの技術はグラフィックスではありません。これはスタンフォード大学の研究で発明されたデータフローアーキテクチャと呼ばれるものです。これにより、ニューラルネットが動作したい方法に合わせてハードウェアをマッピングすることができます。現在のNVIDIAでは、これらのニューラルネットをグラフィックスチップ内の複数のコアに分割する必要があり、それには多くの作業、エネルギー、電力が必要です。一方、データフローアーキテクチャでは、ニューラルネットを分割する際に発生する余分な電力をすべて回避することができます。
これにより電力効率が桁違いに向上し、既存のデータセンターに導入することが可能になります。これは、GPUを導入する際にあまり話題に上がらない点の1つです。というのも、データセンターもアップグレードする必要があるからです。私たちの技術であれば、既存のデータセンター、既存の電力網、既存の冷却システムで導入できるため、企業に非常に迅速に価値を提供することができます。
スタートアップとして、私たちは最上位層で活動しています。革新的な技術を提供するスタートアップとして、現在、米国政府機関での導入実績が最も多く、国立研究所などにも導入されています。また、サウジアラムコの社内GPTにも採用されています。これは、プライベートな環境で訓練され、会社内でエアギャップ化されて運用されています。つまり、データのセキュリティやプライバシーを懸念する企業は、これらのモデルを完全に安全なプラットフォームで訓練し、自社のインフラ内に導入できます。データをファイアウォールの外に晒す必要がないからです。
私が7年前に会社を立ち上げた時の信念は、アクセスの民主化でした。前のゲストも言ったように、現在、大規模な投資は一部の顧客にしか行われていません。私たちは電力要件を削減することで、誰もでも簡単に利用できるようにしたいと考えています。それは、より低いコスト、はるかに低い電力消費、そして非常に狭いスペースでの導入を意味します。ギガワット規模のデータセンターは必要ありません。私たちは、NVIDIAよりもはるかに高い性能を、はるかに低い電力で実現できるラックを導入できるよう、AIインフラの電力要件を完全に再構築することに重点を置いています。