AIブームはどこへ向かうのか？

7,526 文字

ここ3週間、アメリカと日本で色んな人と話をしてきました。半年前にも似たようなことをしましたけど、今回またやってきたんです。ChatGPTが登場して現代のAIブームが始まってから2年が経とうとしています。ここで歴史が作られようとしてるんで、その中心に飛び込んでみたかったんですわ。
ついでに旅の写真も見せられるしね。この動画では、飛行機の中で急いで書いて編集したいくつかの考察をお話しします。
ホットチップス
今回の旅の元々の理由は、ホットチップスっていう半導体設計の会議に参加することでした。ホットチップスはスタンフォード大学で開かれる地味な会議なんです。本当はバークレーで開くべきやと思いますけどね。普通の会議とはちょっと違って、講堂での一連の発表会みたいな感じです。ビデオか直接参加するかを選べるんですけど、なぜか私は直接参加を選びました。
実際のところ、会場で発表をあんまり見なかったんです。代わりに多くの人と一対一で話をしました。声をかけてくれた人たちに感謝しています。あるいは時差ボケで寝てしまったりもしましたけどね。
発表の素晴らしい概要と（かなり）主観的な順位付けが見たいなら、Irrational Analysisっていうサブスタックをお勧めします。これは新しいニュースレターですけど、チップ設計業界の人が書いてるんです。その人のこと、私は個人的に知ってます。意見が聞きたいですか？ほら、たくさん意見がありますよ。
私の全体的な印象ですか？MetaとTeslaが、非常に特定のAIアプリケーション向けの安価なASICの設計で良い進展を見せています。やるべきことを正確にこなし、とてもスリムです。
それと、Co-Packaged OpticsとかCPOって呼ばれる新しい光パッケージング技術があって、これが恐らく異なるチップ間でデータを送る未来の方法になるでしょう。トランシーバーみたいなものは、もう衰退する技術かもしれません。
AMDやOpenAIみたいな大手企業は、あんまり新しいものを発表しませんでした。でもまあ、そんなもんやと思います。
アプリケーション
前回のAIブームについての動画で私が考えていた大きな疑問は、お金を稼いでるLLMベースのアプリケーションがあるかどうかということでした。
インフラに費やされた何十億ドルもの投資に対する見返りを見つけるという金銭的な問題は、SequoiaのDavid Cahnが書いた「6000億ドルの疑問」っていう分析の中で、とても上手く提示されてました。Davidさんに連絡を取ろうとしたんですけど、メールの返事がありませんでした。Davidさん、次に町に行ったときにはぜひ挨拶させてください！
まあ、そういうことで。
その動画では、業界の人々がMicrosoftの大きな upcoming OpenAI搭載のCopilot製品をどう見ているかについても話しました。
で、今はどうなってるんでしょうか？今のところ、答えは少し曖昧です。私から見ると、Copilotは世界を席巻するまでには至っていないようです。収益的に言えば、私の素人の推測では、MicrosoftのCopilot全体で年間10億ドルくらいの収益を上げてるんじゃないでしょうか。
Microsoftにとっては、それじゃあ不十分です。でも諦めてはいません。最近、製品の将来的なリブランディングを予定していて、もう冗談を言う人も出てきてます。
ChatGPTが登場して2年経ちましたけど、まだChatGPTに匹敵する収益を上げるものは現れていません。
それでも同時に、確かにお金を稼いでいる企業はあります。数千万ドルの収益を上げてる企業もあります。
ChatGPTとOpenAI以外で、この業界最大の企業はどこでしょうか？収益的に言えば、おそらくニューヨーク市のElevenLabsでしょう。音声生成をやってて、恐らく1億ドルくらいの収益を上げてると思います。
でも使用率で見るなら、おそらくCharacter.aiでしょうね。最近、モデルのライセンスを供与して、共同創設者を含むチームの一部を「売却」したチャットボット企業です。
この会社の使用率は爆発的に伸びてるみたいです。問題は、主なユーザーがお金のない10代の子供たちで、AIモデルの運用にはコストがかかるってことです。最近の人員削減は、おそらくこのコストが原因やと思います。
強力な製品市場フィットを持つスタートアップはたくさんあります。最も強いフィットを示してるのは、「人間」をAIに置き換えようとするんじゃなくて、LLM AIの中核的な利点を活かすものです。まだそこまでじゃないってことは、みんな認めてるみたいですからね。
最も有望な企業は、特にテキストや音声の形で大量の情報を扱う際に、作業者の時間を節約するのを助けるものです。
GoogleがGemini AIのデモで75ページのサービス契約書を解析するようなのを見せてるのは、正しいアプローチやと思います。デモでは、Geminiに2つの文書を与えて、その中身について質問してます。LLMの得意分野って感じですよね。
あるいは、Cursor AIっていうテキストエディタのアプリケーションは、開発者がより良いコードを書くのを助けます。LLMがコードベースを読み込むとかそんな感じです。
LLMは書類仕事や管理業務、カスタマーサービスや注文受付なんかも得意みたいです。特にドライブスルーでの注文受付にLLMを使うっていうアイデアには驚きました。まだ実現してませんけど、大手のファストフード企業が最終的には突破口を見出すんじゃないかって気がします。
下落
あんまり聞かないけど、LLM APIトークンの価格戦争が進行中っていう話があります。
DeepLearning.aiのBatchニュースレターによると、2023年3月にリリースされた元のGPT-4 APIは、100万トークンあたり約36ドルでした。2024年9月現在、GPT-4oの100万トークンは約4ドルです。つまり、過去17ヶ月で、API価格は9分の1に、つまり年率80%も下がったってことです。
この傾向は、より高度な半導体というよりも、ソフトウェアの改良と既存リソースのより効率的な使用によるもののようです。ほとんどが同じ世代のNVIDIA GPUの間に起こっています。
この傾向を見て、ムーアの法則を引用する人もいます。ある程度は理解できますが、私にはもっと適切な半導体関連の歴史的な出来事があると思います。フェアチャイルド・セミコンダクターのボブ・ノイスです。
フェアチャイルドがトランジスタと集積回路の生産技術を向上させるにつれて、ボブ・ノイスはプレーナートランジスタの価格を5ドルから25セントに、ICを20ドルから2ドルに値下げしました。こういった値下げのおかげで、トランジスタラジオなどの製品がより手頃な価格になりました。
API価格の暴落も同じような効果をもたらすでしょうか？私はまだ、わずかなファインチューニングデータといくつかのAI APIだけで会社全体が運営できるかどうかについて、潜在的な不確実性を感じています。でも、それは市場に任せましょう。
基盤モデル
LLMエコシステムの継続的な成長における主な問題は、その「知能」です。つまり、それらが全て依存している基盤モデルのことです。
業界内外の人々に広く認識されているのは、いくつかの良い、ある程度収益性のあるエンドユーザー向けアプリケーションは見つかったものの、GPT-4基盤モデルとその仲間たちは全体的にまだかなり限定的だということです。
そこで、私たちは皆、次世代、つまりGPT-5に目を向けています。今、業界で文字通り誰もが話題にしているのがこれです。他の主要なAI研究所の人々でさえ、OpenAIをブラックボックスのように扱っているのに驚きます。彼らはシリコンバレーを静かに進む力強い存在なんです。
私たちは皆、OpenAIを待っています。1000億ドル規模のこのスタートアップの一挙手一投足や言葉の端々に手がかりを探っています。
まるでIBM PCの時代に戻ったみたいです。IBMが標準を定義し、全てのPCクローンメーカーがそれに従っているような感じです。みんなIBMを見て、次のステップを教えてもらおうとしています。次のステップが可能だと。
もちろん、この歴史的な比喩をその結論まで追うと、IBMは裸の王様で、かつてIBMが定義した標準の中の他の企業が、IBMを超えて前進するためにステップアップする必要がありました。
でも、誰が？スケーリングなしで構築する新しいアプローチを試みている企業がいくつかあります。日本のSakana AIや、Safe Super Intelligenceなどのスタートアップが資金を調達しています。でもベイエリアは「スケール信者」になってしまってます。スケーリングを続けるには膨大な財政的・物質的リソースが必要で、それを賄えるのは一部のテック巨人だけです。
そのテック巨人たちからは、ストレスの兆候が聞こえてきます。人々が口にする設備投資の数字が少し大きすぎるという認識が広がっているんです。
でも今のところ、これらのテック巨人にとっては追い越し禁止ゲームみたいなもんです。彼らは、少なくとも今後数年は、このAIのために何百億ドルも使わなあかんのです。だって、座して見ているだけで、他の誰かが王座を奪う可能性があるコストは受け入れられへんからです。でも、誰が最後まで諦めへんのでしょうか？
NVIDIAとチップ
NVIDIAの決算発表の週に訪問しました。つまり、その週は彼らが世界で最も重要な企業だったってことです。キャンパスを訪れて、カフェテリアでサラダを食べました。ああ、サラダ大好きです。それと、お土産屋さんでNVIDIAの靴下を買いました。台北をジョギングするときに大切にします。
現在のAIチップ業界のランキングは次の通りです。まず、圧倒的にNVIDIA。その次がAMD。購入できるAIアクセラレータに関しては、基本的にこれだけです。
NVIDIAのこの市場における将来の支配は、深刻な政府の介入やJensen Huangの家に隕石が落ちるようなことがない限り、主に以下のことに依存しているように思えます。
まず、テック巨人のAIチップの中から市場の主要プレイヤーとして浮上するものが出てくるかどうか。Amazon AWSのチップについても触れるべきですが、明らかに考えるべきはGoogle TPUでしょう。
でも、典型的なGoogleのやり方で、TPUは同時に印象的でありながら十分に活用されていないように感じます。素晴らしい技術で信じられない強みを持っているにもかかわらず、主にインフラの一部としか見なされていません。GoogleはTPUを、Google Cloud、Geminiなど、他のやっていることの一部として見なし、扱っています。
ちなみに、TPUの歴史についての動画を作れないか探っています。もし何か知っていることがあれば、例えばそのチームで働いていたとか、連絡してください。jon@asianometry.comまでどうぞ。
次に、現在のチップスタートアップの中から突出した存在が現れる必要があります。これは私には不可能ではないにしても、少なくともありそうにないように思えます。ホットチップスのせいかもしれませんが、文字通り何十ものファブレスAIチップスタートアップが走り回っているようでした。会場には55以上ものそういうスタートアップのリストを持った人もいました。
これらのAIチップスタートアップはそれぞれ独自の売りを持っていて、ほぼ全てのスペクトルをカバーしています。専門化、電力、性能など、様々です。
これらの企業全てに共通する根本的な問題は、半導体が配車サービスや「何々のUber」みたいな勢いのある時代とは違うってことです。ウェブサイトをさっと立ち上げて、路上の人々を集めて、スケールアップするみたいなことはできへんのです。チップを設計して、5〜6ヶ月かけて製造して、それからなんとか売る方法を見つけなあかんのです。
たった6ヶ月でも何が起こるかわかりません。でも私から見ると、これらのAIチップスタートアップの多くは失敗するでしょう。たぶん3〜4社くらいが、人材獲得のために原価で既存のプレイヤーに売却されるくらいでしょう。この運命を避けるには、今までにないくらい懸命に働く必要があります。
インテルのための特別な輪
訪問時の3番目に大きな話題はインテルでした。最近、悲惨な四半期決算を発表して、株価が30%くらい暴落したんです。
当然、ネット上はミームだらけです。特に、Redditの誰かが決算発表の直前にインテルに70万ドルもの祖母のお金を賭けたって話があったからです。
みんながこの会社のことを色々言うんで、私から新しく言うことはありません。ニュースは気になります。1日で株価が30%も下がるんですから、いつだってそうです。9月中旬に大きな取締役会があって、設備投資の削減や事業の売却など、様々な選択肢が検討されています。
インテルが10年以上前のAMDのように分割すべきかどうかについて、みんな意見を持ってるみたいです。分割は避けられないと言う人もいれば、時期尚早だと言う人もいます。
AMDとGlobalFoundriesの分割を振り返ってみると、アブダビが後者の会社に数十億ドルを投資して、継続的な設備投資を賄いました。これは、半導体のノードがはるかに安かった時代のことです。今のインテルに十分なお金を出せる人はいるんでしょうか？
Fabricated KnowledgeのDoug O'Laughlinが、私が見た中で最高の見解を持っています。ビデオを一時停止して読んでもらっても構いませんよ。
結局のところ、インテルの人々はDougの計画を採用しないと思います。あまりに大胆で、実行（難しいってことの fancy な言い方です）に大きく依存していて、規制当局が何を言うかにも大きく左右されます。
そして半導体は今や政治化されてるんで、たぶんそのまま変わらないでしょう。インテルはおそらく、あと数年は現状維持を続けるでしょう。次世代のプロセスノードが市場に出るのを待っているんです。18Aが代替を求める少数の顧客を獲得します。そしてそれがうまくいけば、14Aで顧客と収益が本当に流れ込んでくるでしょう。
両方のノードは良いらしいです。少なくとも、そう聞き続けています。確かに革新的です。でも、もし良くなかったらどうなるんでしょう？ものすごいプレッシャーがかかっています。TSMCが大量生産の問題点を解決するために使っているウェハーの量を彼らが持っているのかどうか、私はずっと疑問に思っています。
もし良くなかったら、それからどうなるんでしょう？18A/14Aの救世主シナリオは2027年か2028年くらいに実現すると想定されています。インテルがなんとかやっていくには長い時間で、資金を調達するにも大金です。AMDとNVIDIAがx86ビジネスにハンマーを振り続けるなら、どこからお金が来るんでしょうか？
ここでCHIPS Act part 2について触れないといけません。みんな、何らかの形で必ず実現すると無限の自信を持っているようです。何年も前からずっとそうです。でも、どれくらいのお金が配られるんでしょうか？これははっきりしません。
見過ごされているストーリー
締めくくる前にボーナスをひとつ。今回の旅で見過ごされているテクノロジーの話題は、Waymoです。
前回サンフランシスコに行ったとき、Waymoはまだ限られた人だけのものでした。時々見かけましたが、選ばれた招待客だけが乗れるものでした。今では、どこにでもあります。
何年もの間、自動運転の車に乗る夢を見てきました。今、それが実現したんです。ここにあるんです！なのに、サンフランシスコとロサンゼルスの人々は、まるで路上のハトのように、邪魔者扱いしています。
Waymoが隣に停まって、運転席に誰もいないのを見て、なぜみんな興奮しないんでしょうか？！
Waymoが自動運転車戦争に勝ったのは間違いありません。Googleのお金のおかげだとか皮肉を言いたい人もいるでしょう。確かにそれも関係しているでしょう。でも、Googleのアプローチには印象的なものがあります。
エレガントなエンジニアリング設計ソリューションを見つけようとしてうろうろするんじゃなくて、難しくてスケールできないように見えることをやらなきゃいけないって気づいたんです。道路をマッピングし、最高のドライビングモデルを特定するための強力なデータ収集装置を構築し、デポを設置し、ライドシェアサービスを整備しました。これは力づくでしたが、うまくいきました。
業界で働いていたKevin Chenの文章を皆さんに紹介したいと思います。技術面からビジネス、運用に至るまで、このWaymoの展開についての彼の理解の深さに驚かされます。YouTubeチャンネルもおすすめです。
私たちは皆、自動運転車が道路を走ることの意味について、そういったビジネスを運営する実際の経済性も含めて、新しいことを学んでいます。思っていたほど華やかなものではありません。
私たちはどこへ向かうのか？
この動画の冒頭の質問に戻りましょう。私たちはどこへ向かうのでしょうか？私にとっては、全てが次世代の基盤モデルにかかっています。木の近くで2人の男がゴドーを待っているように、私たちはGPT-5を待っています。
あまりにも長く待つので、業界内や金融アナリストの注目は、AIモデルやその中のチップから、データセンター自体に移っています。みんな、より大きなデータセンターについて話しています。
SemiAnalysisは今、データセンターモデルを販売していて、DylanがそれがもしかしたらAIアクセラレータモデルよりも大きくなるかもしれないと考えているという事実は、この考え方を示しています。
次の2年間のスケーリングのための準備はすでに整っています。その後は、誰にもわかりません。スケーリング法則は、あと2年で何ができるでしょうか？
次にアメリカに行くときに、どうなっているか見てみましょう。そのときも、こんな感じのビデオレポートを期待してください。