見出し画像
Photo by soeji

NVDAの "Inference"に関する言及について

@nekabutaro

昨日 (4/11)の広瀬さんのフリーセミナー聞かせていただいて楽しかったです。ほんと情報のレベルが全然違うので、広瀬さんってやっぱりすごいなーと思うに尽きる今日この頃です。

さて、フリーセミナーの中でいくつか気になるところがあったので、ChatGPTを使って調べてみました。気になることのひとつの NVDAの "Inference (推理)" が言及されているコールを探してもらいました。使っているのは、こばさんの Earnings Call Proです。

「NVDAの最近のcallで inferenceに関する言及部分を探してもらえますか？」と聞きました。ChatGPTによる回答は以下のとおりです。

NVIDIAの最新の四半期決算コールでは、Inferenceに関して注目すべきいくつかの点が挙げられました。

Inferenceのハイライト

  • データセンター収入の推進力: NVIDIAは、Inferenceを含む幅広い用途に対して高い投資収益率を提供するデータセンタープラットフォームの汎用性とトップクラスのパフォーマンスを強調しました。過去1年間で、データセンター収入の約40%がAI Inference用途によるものであると推定されています【6†source】【7†source】。

  • 大規模なクラウドプロバイダーからの強い需要: 四半期のデータセンター収入の半分以上が大規模なクラウドプロバイダーからのものであり、内部ワークロードと外部パブリッククラウド顧客の両方をサポートしています【6†source】。

  • AIによる推薦システム: 例えば、Metaは、推薦システムの深層学習とAIによる広告最適化に投資しており、主要な消費者インターネット企業の多くがAIの導入を急速に進めています【8†source】。

  • エンタープライズソフトウェアのAI活用: 企業ソフトウェア会社が自社のプラットフォームにAIコーパイロットやアシスタントを追加するなど、企業のAI採用の波が始まっています。Adobe, Databricks, Snowflake, ServiceNowなどがAIの活用を加速しています【8†source】。

分析と将来予測

NVIDIAのInferenceに関する強力な成長は、AIと機械学習が急速に発展し、広範囲にわたる産業での実用化が進んでいることを示しています。データセンターの収入に占めるInferenceの割合が高いこと、大手クラウドプロバイダーからの強い需要、そして消費者インターネット企業やエンタープライズソフトウェア会社によるAIへの投資の増加は、NVIDIAの長期的な成長に対して楽観的な見通しを持つ理由を提供しています。AIと機械学習技術の進化に伴い、NVIDIAのInference関連製品の需要はさらに高まると予想されます。これは、より効率的でパーソナライズされたサービスを提供するために、各業界がこれらの技術を積極的に採用しているためです。NVIDIAは、この分野における技術革新のリーダーとしての地位を維持し、拡大していくでしょう。

さらに、ChatGPT先生にこのように質問してみました。「NVDAの GPTは非常に高価で電力もすごく使うものと理解していますが、Inferenceのような比較的簡単な機能に40%も使われているということはむしろネガティブではないでしょうか？例えば、AVGOのより安価なチップの方が適しているのではないか？と考える人もいるようです。」その回答は以下のとおりです。

NVIDIAのGPTなどのAIモデルにおけるInference作業の電力消費とコストに関する懸念は確かに一部で指摘されていますが、NVIDIAはこの問題に対して技術的進歩を遂げているようです。NVIDIAのGrace Hopper Superchip（GH200）やH100 Tensor Core GPUは、MLPerfのインファレンスベンチマークで顕著なパフォーマンスと汎用性を示しており、推薦システムや大規模言語モデル（LLM）などの要求の高いユースケースで優れた成績を収めています【14†source】。さらに、NVIDIAはTensorRT-LLMというソフトウェアを開発し、既存のH100 GPUでのインファレンス性能を大幅に向上させることが可能で、これによりパフォーマンスが向上し、エネルギー効率が改善されると報告されています【14†source】。

一方で、NVIDIAはBlackwellプラットフォームを通じて、AIモデルのインファレンスにおいてさらなる革新を実現しています。このプラットフォームは、特にLLMのインファレンス作業において、従来のNVIDIA H100 Tensor Core GPUと比較して最大30倍のパフォーマンス向上と25倍のコストおよびエネルギー消費の削減を実現しています【15†source】。

Broadcomのチップに関しては、BroadcomのJericho3-AIチップは、データアナリティクスワークロードにおいて膨大な計算処理能力を必要とするAIプラットフォームをサポートすることに特化しているようですが、直接的なNVIDIAのGPU製品との比較に関する詳細は見当たりませんでした【15†source】。Broadcomのチップは、InfiniBand市場においてNVIDIAと競合するものの、NVIDIAが提供する幅広いAIインファレンスプラットフォームやソフトウェアスタックと直接比較するのは難しいかもしれません。

要するに、NVIDIAはソフトウェアの最適化と新しいチップアーキテクチャの開発を通じて、AIインファレンス作業のコストとエネルギー効率を大幅に改善しています。これにより、特に大規模AIモデルにおけるInference作業の電力消費とコストに関する懸念に対処し、高いパフォーマンスを維持しながらも、より経済的かつ環境に優しいソリューションを提供していると言えるでしょう。

ChatGPTについての感想
ChatGPTの有料バージョンを今年の初め頃から使っているんですが、なんか日に日に回答の質が良くなってきているように思えて頼もしいです。最近僕なんか、一般的なメディアの新聞にお金払って購読するよりも、月3,000円払って ChatGPTの有料バージョンを購読して、ファンダメンタルの弱い僕のアシスタントととしてChatGPTを雇わせてもらって、気になることをこのように質問していって一個づつ片付けていった方が僕にとってはよっぽど分かりやすいんじゃぁないのかと思う今日この頃です。お読み頂きましてありがとうございました。

この記事が気に入ったらサポートをしてみませんか？