見出し画像

Nvidia相場はどこまで続くかーーポイントはスケーリング則だ（投資の観点で整理するGPU需給）

エピクロスのお財布

注：本文は投資に関して助言やアドバイスをするものではない。投資は自己責任で行ってください。

先日世界中が見守るNvidia決算があった。好業績である以上に需給状況に安心感を与えたようだ

  • 粗利益率上昇、粗利益見通しの良さ

  • 在庫が低水準

  • googleやawsとの提携（特にTPU持つGoogle）、各国との提携

  • 競合に脅かされると見られている推論シェアが40％の見通しで、意外と高い

  • 前回懸念された中国リスクはなくなり、むしろ将来的には潜在的なポジティブ要因に変わった

  • ハードウェア以外にソフトウェア収益も出てきた

などなどで株価も好調、各社目標株価引き上げ中。

さてここでも去年末にNvidiaの適正株価について簡単に見積もった（https://note.com/epicurus/n/nc4255b1ed06f）。その時の株価は４５０〜５００ドル程度だったが、まさか年始早々ここまで爆上げするとは思いもよらず、私は大して仕込めなかった。その時の見積もりレンジは６５０〜１２００ドルだったが、さっそく１０００ドルの目標株価も出始めた。さて、これがどこまで続くか。目標株価の計算方法や業績予想の更新など、細かい改善点はたくさんあるけれど、結局のところそれらによる数字の細かい違いよりもずっと決定的なのはGPU需給の方だろう。例えばこの上昇を受けてさっそく今のNvidiaは2000年ころのCiscoと同じで、バブルが崩壊すれば株価は二度とピーク時の水準まで戻ってこないとか、というような話が聞こえてくる。最終的にそうなると思うけれど、この話は一体ピークがどこにあるかがわからなければ意味のないことだ。結局はいつか暴落するかもしれないが、それでも今の株価よりずっと上の水準にあるかもしれない。日本のバブルだってスタートは7000ポイント程度だった、それが40000から暴落しても7000ポイントよりはずっと上だった。

ピークがどこか、それを決めるのは結局GPU需給だ。これについて整理したい。

GPUを必要とするのは機械学習や画像、音楽、文章の生成AIなどたくさんあるけれど、昨今の需要逼迫を引き起こした要因は一つだけだ。（ChatGPTなどの）LLMである。Large Language Modelと名の通り、とにかくデカい。学習をするのに少なくとも数百台の（１台あたり５００万円くらいの）GPUは必要だといわれている。そして計算的に軽いと言われる推論でも１台だけでは（質を落とさずには）無理である。そこを踏まえて、今後１、２年に絞れば需要に関して強気と考えられる点は大きく３つだと考えている

  1. LLMのさらなる「覚醒」（スケーリング則）

    1. LLMのブレイクスルーのポイントを一言で表せば、モデルの「覚醒」だと思う。具体的に言うとモデルサイズを大きくすると、これまでとは質的に違う能力が開花することだ。LLM以前の機械学習はモデルが何ができそうかは、ある程度事前に予測できていたが、LLMは文章を読ませ続けただけでなぜかいろんなことができるようになってしまった。なんでそんなことができるようになったかもはっきりとはわからないが、そこで獲得した能力が今のLLMのブームにつながっているのは確かだ。 モデルをどれくらい大きくするとどれくらい能力が覚醒しそうかについては、いわゆるスケーリング則という経験則がある。それをみると当然、次にGPT5のようなモデルを作りたくなる。実際OpenAIは2024年中にこれをやると宣言している。そうするとモデルが今よりもさらに10倍くらいにデカくなりそうなので、それだけGPUも必要になる。その上、必要になるのはGPUの数だけではなく、効率的に並列させるにはGPUそのもののアップグレードも重要だ。Nvidiaがこれにも本気であり、最も有利な立場にあると言えるだろう。

    2. 言語とは別に、言語のスケーリング則を画像などに応用するのも自然な動きだ。まだ研究段階だが、ブレークすればGPU需要がさらに向上する。例えば先日発表されたSoraはそうだ。綺麗な動画が生成されたことで注目されているが、実はSoraのポイントの一つは動画の世界でもLLMのようなブレークスルーが起きる可能性を示したことだ。つまりLLMは言語を生成していくだけで知識体型の何かを学習した結果、驚くほど多様なことができたように、Soraも動画を生成していくことで世界について何らかの構造を学習した結果これからさらに多様なことができるようになるかもしれない。OpenAIのCEOがさっそく、スケーリングが神によって定められたとSNSで発言している。 https://twitter.com/sama/status/1760473881884987606

  2. 膨大な応用アプリによる需要

    1. 現時点のChatGPTのようなLLMでも多くのヒットアプリが出ることはもはや疑う余地がないだろう。ネックはやはりGPUが足りない。今たくさん出回っているプロトタイプ的なアプリのうち、このレベルではまだお金を払いたくはならないが、GPUが十分にあってブラッシュアップすればすごく重宝するだろう、というものがたくさんある。やりたいこと、やるべきことがたくさんあるけれど、GPUがないからできない。そういう状況だから、しばらく需要は押し上げられていくだろう。

  3. LLMの改善たのめの需要

    1. 今のChatGPTのようなLLMではいろいろ不満も多い、幻覚問題や柔軟なチューニング、知識の注入、コンテキスト長が短くて長く会話を覚えてくれない……これらの問題はいわゆるRAGシステムによってある程度対応できたりもするが、効果は限定的だ。より賢い解決策がたくさんある。それがさらに進めばLLMの応用がさらに飛躍するポテンシャルはある。これらに関しても繰り返し実験と改善すれば、効果が見込まれるが、足りないのはやはりGPUだ。

      1. 例えばこうしているうちにも数楽オリンピック金メダリスト並みのモデルができてきている。このような発展はまだまだ出てくるはずだ。

      2. https://deepmind.google/discover/blog/alphageometry-an-olympiad-level-ai-system-for-geometry/

      3. https://twitter.com/hillbig/status/1747700015068569889

    2. 今のChatGPTをうまく活用してプロンプトの自己改善などのアプローチでいわゆる「ちょっと強いAI」の実現も囁かれている。その場合も膨大な推論が必要になるのでやはりGPUがたくさん必要になる。

一方で重要そうなリスク要因はこちら

  1. アルゴリズム改善によるGPU節約

    1. この領域も日進月歩だが、短期間ではまだ難しそう

      1. 例えばこちらの研究ではモデルを1/8サイズに成功したけれど、研究としてはまだ概念検証段階に思える。というのもここで提唱されたものよりいいやり方はたくさんありそうだと思うから、もし有望なら今後たくさんの改善が行われ、研究がある程度落ち着き、手法が固まって、ライブラリとして定着してから、初めて効果が出るでしょう。また、たとえ同性能のモデルを小さくできたとしても、スケーリング効果により、人はさらに高性能を求めてより大きなモデルを求める可能性も高い。

        1. https://arxiv.org/abs/2401.06104

        2. https://twitter.com/hillbig/status/1747031444558643311

    2. 応用先が限定されれば大きいモデルで実証してから小さいモデルに移行することはありえる。そうするとGPU消費を削減できる。しかしそれには人と時間がかかる上に、初期の段階ではやはり大きなモデルが必要だ。今はその初期の段階のためのGPUすら足りない状況だ。

  2. 競合による脅威

    1. GoogleのTPUやAMDなどがあるものの、当面の影響は限定的だろう

    2. 2023年末に発表されたGoogle GeminiはTPUを使って学習されたという。性能はChatGPT4並だから、nvidiaのGPUはなくてもChatGPT4くらいのモデルはできるだろう。しかしTPUは主にGoogle内部で使われており、Googleクラウドでは使えるが、アマゾンとマイクロソフトに比べればGoogleクラウドのシェアは小さい。TPUによってGoogleクラウドが業績を伸ばすことはあるかもしれないが、nvidiaを脅かすほどとは思えない。

    3. AMDもGPUマシンを出すとしているが、こういうものは常にトラブルがつきものだ。インフラの違いなどを吸収するコンテナ技術が発達しているとは言え、機械学習周辺のライブラリは何かとトラブルが多く、例えばGPUではないがちょっと新しいライブラリになるとIntelのCPUでしか動かないものもあったりする。その点たとえAMDのGPUは使えるとしてもまずは少量から使ってみないとわからない側面があるため、大手各社が導入するとしても、すぐに大規模に買うわけにもいかないだろう。

    4. 現在NvidiaのGPU生産の大きなネックの1つはCoWoSパッケージングと言われているが、3nmの技術が使われていてTSMCの生産能力で制限されている。各社あらかじめ枠を割り当てられているようなので、Nvidiaがたくさん作れないと同じ理由で、競合他者もたくさんは生産できない可能性が高い（最近のTSMC決算では3nm関連が躍進しているようだが、どこまで関係しているかは調べていません）

こうしてみると少なくとも1年くらいはnvidiaのGPU需給逼迫は続きそうだ。ただその先、いつまで続くかはわからない。いずれ必ず終わることは確かだろう。Nvidiaのが新しいモデルを次々と打ち出していて、その度に計算量当たりのコストが半分ずつになっていく感じだから、それが続けばコンピューティング需要を食いつぶすだろう。問題はそれを上回るスピードで需要が膨張するかどうかだが、需要膨張の最も強い要因はやっぱりスケーリング則でしょう。モデルを大きくする度に新しく獲得された能力にどれほどの価値を見出すか。直近ではとにもかくにも、今年に予定されているChatGPT5がどれほどのものになるか、それが一番重要だろう。それに関して噂話もいろいろ出まわっているが、それらが本当ならGPU需給が一層大きく引き締まることになるだろう。

この記事が気に入ったらサポートをしてみませんか？