イーロン・マスクのAGIと先を見据えた計画 - 数百万のAIチップを活用して

AIと人工知能の分野において、言語モデルの領域と実世界の領域での追求は、現時点ではまだ似ていますが非常に異なる取り組みです。異なるタイプの人材を惹きつけ、アプローチも多少異なりますが、一方から他方への多くの持ち越しがあります。忘れてはならないのは、テスラが人工知能企業へと変貌を遂げたのは、イーロンがOpenAIをテスラとは別の組織として立ち上げたことが大きな背景にあるということです。
皆さん、こんにちは。Next Big Futureへようこそ。今日は素晴らしいゲストをお迎えしています。ファルザンのチャンネルでよく一緒に仕事をしていたハンス・C・ネルソンさんです。ハンスさんは自身のYouTubeチャンネルも持っています。ようこそ、ハンスさん。
ありがとうございます、ブライアン。ここに来られて嬉しいです。
はい、今日は超知能がどのように展開されるか、なぜそれが起こると確信しているのか、すでに何が起こっているのか、そして彼らが何を構築しようとしているのか、そしてそれが全て何を意味するのかについて、私の考えをいくつか紹介したいと思います。約20分ほどで手短に紹介し、その後ハンスさんと私で議論します。また、私の話の途中でも、話している内容について議論するために中断することもできます。
超知能がどのように実現するか - 明らかに、人間よりも賢い機械があれば画期的なことでしょう。タイミングの重要な証拠と、それがどのようなものになるかについてお話しします。すでに行われたことと、これから行う必要があることについて説明します。AIの基盤となるスケーリングについても触れます。これらの数十億ドル規模の賭けは全て、人々がAIのスケーリングについて信じていることに基づいています。そして、私に確信を与えるさまざまなアルゴリズムの改良がありました。これらすべてのことについて、数十億ドルを費やすためには、それを支払うために数千億ドルから数兆ドルを稼ぐ必要があります。そしてそれらの市場について議論します。そして、たとえ我々がそれを実行できたとしても、誰かがそれに対価を支払うのか、我々はそれを構築できるのか、まだ実行面での課題があります。
私のことを知らない方のために自己紹介します。私はブライアン・ウォンと申します。スタートアップの投資家であり、アドバイザーでもあります。未来学者でもあり、Next Big Futureというウェブサイトで3万本以上の記事を書いています。
ジェンセン・フアンは2024年初頭、2023年に登壇し、過去10年間でAIの計算能力を100万倍改善したと述べ、今後10年間でさらに100万倍改善すると予測しています。つまり、2033年から2034年までには100万倍の改善が期待されています。私はその展開の内訳を持っています。
最初の2つの緑の線は、基本的にすでに行われたことです。OpenAI、xAI、テスラなど多くの企業が、それぞれ2万個のH100チップを持っています。各チップは4ペタフロップスの性能があります。それらを掛け合わせると80エクサフロップスになります。これがジェンセンが発言した時点の状況です。
その後数ヶ月で、様々なグループが10万個のH100チップを様々な段階で組み立てています。マイクロソフトやOpenAIはすでに持っていると思われます。メタも恐らく持っているでしょう。そして今、xAIが自社のものを構築中です。それらは400エクサフロップスの性能を持ち、130メガワットのエネルギーを使用します。
イーロンは2025年半ばまでに30万個のB200チップを入手すると述べました。私は2025年後半にそれが稼働すると想定しています。そうすれば6ゼタフロップスになるでしょう。なぜなら、B200チップはH100の5倍の性能である20ペタフロップスだからです。
そして、中間段階として、それらのチップの入手が困難な時期があり、10万個入手できた時点でモデルを実行しようとすると、H100とほぼ同じエネルギーで2ゼタフロップスになると予想しています。各ステップで5倍、3倍と進むにつれ、新しいモデル作成の訓練を行う価値があると考えています。
台湾のCOMPUTEXで、ジェンセンはブラックウェルB200チップの次のルーベンチップについて議論しました。その性能はまだわかりませんが、これまでの段階を見ると、ルーベンチップは100ペタフロップスくらいではないかと推測しています。また、よりエネルギー効率が良くなるでしょう。推測では、10万から30万に増やせば、完全に構築されたルーベンシステムで100万個のルーベンチップが得られ、それは約100ゼタフロップスになるでしょう。これは2026年頃からルーベンチップのリリースが始まるとすると、2027年頃になると思われます。
そして再び、約25万個で24ゼタフロップスの中間段階があるでしょう。その後、次のチップで再びステップアップし、80ヨタフロップス、つまり80エクサフロップスの100万倍の性能に到達するまでにさらに2サイクルあるでしょう。
これについて何かコメントはありますか、ハンスさん。
はい、ここで私たちが話しているのは、具体的にxAIが持つと予想される計算能力についてですね。
そうですね。OpenAI、マイクロソフトなど、プレイヤーの誰もが同じことを試みるだろうと思います。xAIが持つ可能性のある利点は、エネルギー面にあると考えています。ギガワット単位の電力を展開するには問題がありますが、予算があればその目標を達成できます。しかし、これほど多くのチップを機能させ、1か所にこれほどのエネルギーを集中させることには課題があります。中国はおそらくそれを行うでしょう。xAIとテスラはそれを行うことができるでしょう。そして他の企業も、お金を投入すればそれを実現するでしょう。
では、これを基本的に、誰か - 主要なAIの取り組み、主要なAIの努力の代表として使用できますね。中国に1つ、クウェートに1つ、そして米国に複数、マイクロソフト、メタなどがあるかもしれません。
他の要因の1つは、300万個の次世代チップがあり、それぞれが約5万ドルのコストだとすると、現状が続くと仮定すれば、それは1500億ドルになります。これを行おうとすれば、かなり強力な収益エンジンが必要になります。スケールアップを始めると、単に支出し続けることはできなくなり、お金を稼がなければならなくなるからです。後でその可能性について説明しますが。
超知能について、私が言いたいのは、誰もが計算能力とエネルギーについて話していますが、2030年まで、そしておそらくそれ以降も、それは解決可能な問題だということです。それは単に、その膨大な金額を支出し、それを支払う能力があるかどうかの問題です。つまり、達成可能で実現可能なことだと思います。
ビジネスモデル、AIの専門家、人材、そしてデータは、計算能力とエネルギーよりも重要だと考えています。もちろん、それらは目に見える即時的な問題ですが、さらに進むにつれて、この全体を支えるビジネスモデルを持つことが重要になります。
そうですね、あなたは数兆ドル規模の支出について話していますよね。総額で。数年間にわたって年間数千億ドルを費やし、それを数年間続ければ、特に複数の人々がそのペースで競争していれば、非常に迅速に数兆ドルに到達します。
そして人材の側面について、人々がアルゴリズムを作るのです。イリヤ・スツケバーのような優秀な人材がいれば、2つの素晴らしいアルゴリズムを考え出すことで、100倍、1000倍も効率を上げることができます。だからこそ、人材とxAIの側面が重要なのです。
皆さんはご存じないかもしれませんが、xAIはイーロン・マスクのAI企業で、テスラとは別に設立され、数十億ドルを調達し、220億ドルの評価を受けています。OpenAIは800億ドル以上の評価を受けています。イーロンはOpenAIの設立にも関わっていました。彼が主要な人材をリクルートしました。
世界クラスのAI人材を集めることは、イーロンが示してきたことです。テスラがxAIに50億ドルを投資する話がありますが、その正当化理由は、私の考えでは、OpenAIの800億ドルの評価を超える2200億ドルの評価に到達できるからではありません。超知能は数兆ドルの価値があり、イーロンがそれを実現するチームを形成できる可能性があるか、少なくともそれと競争できるチームを形成できる可能性があるからです。これが、数兆ドルを獲得するためのベットなのです。
テスラコミュニティの人々がこの問題について議論しているのをご存じない方もいるかもしれません。テスラの資金をxAIに投資すべきかどうかという問題です。私は強くそうすべきだと信じています。
さて、ここでちょっと脇道にそれて、OpenAIでそのレベルの人材が崩壊しているように見えることについて、あなたはどう思いますか？今後1年間で彼らが何を提供できるかを見守る必要がありますが、ほとんどの先端研究者たちは去ってしまったか、サバティカル休暇中です。そして、これは競合他社にどのような機会を残しているのでしょうか？
これは、ビジネスモデルの側面に関係します。会社の運営方法のビジネスモデルと、会社内の主要な人材に報酬を与える方法のビジネスモデルです。xAIをテスラに統合できなかった理由は、これらの超優秀な人材、特別なAI人材が数十億ドルを稼ぐ可能性があるからです。
アンスロピックは、OpenAIを去った初期の2人の人材を迎え入れ、40億ドルの資金調達を受けました。彼らは「OpenAIで重要な仕事をしているが、数十億ドルレベルの報酬を得ていない。これは私のチャンスだ」と言います。だから彼らは去るのです。
同様に最近、OpenAIは社長のブロックマン氏と製品責任者、そして他の人材を失いました。OpenAIの構造内では、マイクロソフトが49%を所有し、他の大きな投資家もいます。シリコンバレーモデルでは、従業員は通常、会社の10%から20%を得ます。それを分割すると、OpenAIには約1000人以上の従業員がいるので、20人の主要な人材がいたとしても、各人が1%以上を得ることはないでしょう。
彼らは「800億ドルの1%は8億ドルだ。それは巨額だ」と思うかもしれません。しかし、彼らは「私はそれ以上の価値がある。私と私のチームなら、10%、資金調達のために50%を得られる」と言うかもしれません。「10倍、20倍多く得たい」と思うでしょう。特に、OpenAIが彼らをトップの人材とは考えていない場合、彼らは自分がトップだと思っていても、OpenAIは彼らを一軍の選手とは見ていないかもしれません。そうすると、彼らは過小評価されていると感じるでしょう。
だから彼らは「数十億ドルの価値がある」と考え、様々なベンチャーキャピタルからそれを得られると思って去るのです。これは常に問題です。
私の推測では、OpenAI内部ではGPT-5の開発が遅れています。彼らの評価額の上昇もありません。そのため、人々はフラストレーションを感じています。内部で「君たちはすべて間違っている」と思っているかもしれません。あるいは、遅延に関する他の問題があるかもしれません。
もし私たちが順調に進んでいれば、「800億ドルから1兆ドルに向かっている」と人々は考えるでしょう。そうすれば、人々は「私はさらに10倍得られる」と思って留まるでしょう。
これはGPT-5がどうなるかの良い指標ではありません。マイクロソフトのCTOはGPT-5が素晴らしく見えると言っていますが、それでも遅れています。GPT-5で進歩を遂げることはできるでしょう。これらのスケーリング法則のおかげです。しかし、他の大きな進歩を遂げていなければ、他の誰よりも先んじているわけではありません。Perplexityは20人で非常に迅速に何かを組み立てました。これが私の見解です。これについて何かコメントはありますか？
はい、それをxAIとイーロンが持つ競争上の優位性という文脈で考えていましたが、その話題にはまた後で戻りましょう。それは私たちが向かっている部分だと知っているので、今はその会話に引き込まれないようにします。スライドに戻りましょう。
わかりました。その話題に戻り、できるだけ手短に説明しようと思います。
先ほど議論したように、データの専門家と人材について。AIはエージェントとインターフェースを解決するでしょう。ロボット工学、人間とボットの多くの仕事を解決しますが、超知能には限界があります。基本的に、構築するデータがない場合、まだ答えを得ることはできません。人間を超えていたとしても、まだボトルネックがあるでしょう。
私たちが知らないことについては、現在持っている情報をいくら集めても解決できません。例えば、高速移動については解決できません。それについてのデータがまったくないからです。
また、データが不十分だったり限られている場合もあります。超知能に到達すれば、科学と技術のフロンティアを押し広げるでしょう。人間とAIが協力することで、物事をより速く前進させることができます。
しかし、重要なのは、収益性のあるデータ/フライホイールを作ることです。適切にデータを収集し、活用することが鍵です。これはxAIの利点の1つです。イーロンの特別なスキルの1つは、データを収集するためのビジネスモデルのフライホイールを作り出せることです。テスラ車やFSD（完全自動運転）、ロボタクシーで他の誰よりも収益性高く行ってきました。
他の企業は年間20億から30億ドルを費やし、損失を出していますが、数百万ドル、今では数千万ドルしか稼いでいません。一方、イーロンはオートパイロットとFSDの販売から10億ドル以上、数十億ドルを稼いでいます。彼はより良いビジネスモデルを持っているのです。
これは彼が来て、ビジネスモデルを修正し、創造することの1つです。SpaceXでも同じことをしています。火星の植民地化を始めるのにどれだけの資金が必要かを考えてみてください。ほとんどの場合、単なる輸送料金だけでは賄えません。
そこで彼らは「どうやってこれに資金を提供しよう」と考え、スターリンクがその答えとなりました。今やスターリンクは急速に拡大し、成長しています。すでに収益を上げていると理解しています。おそらく巨大な現金を生み出す資産になる途上にあり、それがイーロンがSpaceXに対して持つ非常に野心的な目標 - 月の開拓、火星の開拓といったものに資金を提供することになるでしょう。
そうですね。皆さんはご存じないかもしれませんが、SpaceXは打ち上げ産業で国家全体と競争しなければなりませんでした。彼らが登場する前は、ロシアとヨーロッパがリーダーでした。中国もそうでした。今や、ロシアとヨーロッパは事実上、軍事打ち上げなど政府の打ち上げを除いて商業打ち上げ市場から締め出されています。
中国にも商業打ち上げがありますが、SpaceXとスターリンクの打ち上げ数には太刀打ちできません。スターリンクはすでに6000基以上の衛星を打ち上げており、軌道上の衛星やペイロードの約80%を占めています。
中国がどれだけの資金を投入しても、彼らのビジネスモデルが劣っているため、現在SpaceXスターリンクが行っていることには太刀打ちできません。
では、ハードウェアの側面に入りましょう。先ほど示した小さなチャートで、100万から300万のルーベンチップまでのスケールアップを説明しました。ルーベンチップは約100ペタフロップスだと言いました。これは、スライドにあったチップの写真です。100ペタフロップスのチップが100万個あることになります。
TSMCはすべての先端チップを製造していますが、2027年までにシステムオンウェハーチップで40倍の性能向上ができると述べています。詳細には立ち入りませんが、基本的に彼らのロードマップにあるさまざまなことで、2027年までに各チップで20ペタフロップスから100ペタフロップス、さらには500ペタフロップスへと向上することが達成可能です。これはTSMCが達成すると言っている技術的詳細に基づいています。
また、チップの供給に関しても取り組んでいます。現在は300万から400万チップしか作れず、誰もが割り当てを受けなければならない状況ですが、サプライチェーンの改善や他の技術的改善により、その供給量を2倍、3倍、10倍に増やそうとしています。これはまた別の話題で時間がかかるでしょう。
例えば、現在の円形ウェハーの3倍の面積を持つ長方形のウェハーを作ろうとしています。そうすればチップはより大きくなります。これらの問題も解決するでしょう。これを実現するには大きな技術的な取り組みが必要ですが、それが起こることの検証です。その仕組みについてはもっと詳細があります。
AIアルゴリズムについて。人々は「数学が得意ではない」と言っていましたが、DeepMindはAlpha ProofとAlpha Geometryを使用して、世界数学オリンピックで2位、つまり銀メダルの位置を獲得しました。これは大規模言語モデルとアルファゼロの囲碁解決タイプのシステムを組み合わせたものです。基本的に、数学と推論は解決可能です。
OpenAIを去ったイリヤ・サツケヴァーは、Anthropicで安全な超知能の開発に取り組んでいます。詳細はわかりませんが、彼は単に何かをでっち上げるような人物ではありません。超知能への道筋が見えていると考えているようです。
OpenAIでは「ストロベリー」と呼ばれるものに取り組んでいるそうです。これは関連するものかもしれません。QAシステムの推論の breakthrough（ブレークスルー）があります。
見てきたように、Googleなど多くの企業が推論のブレークスルーに取り組んでいます。OpenAIと協力しているマイクロソフトは、1ビットモデルを持っています。これはモデル内の重みのサイズを1ビットに減らし、メモリサイズを削減し、エネルギーを削減します。これは既存のシステムから得られる改善のさらなる一歩です。
注目に値する別のアルゴリズムもあります。より高速なAIのチームを使用しています。小さなAIのグループが協力して、モデルや質問に対して1つのパスを行うのではなく、複数のパスを行い、議論し、より良い答えを出します。人間のチームがより良い答えを出せるのと同じように、これがAIで行われています。
この方向性に沿って、Falcon Miniはより安価で高速なモデルです。これはチーム形成に適しています。1つの大きなモデルよりも100の小さなモデルを安く作れ、結果がより良ければ、より良い結果を得ることができます。
テスラAIの責任者で、OpenAIでも働いていたアンドレイ・カーパシーは、現在のモデルは100倍から1000倍訓練不足だと述べました。これは、現在のデータ量と計算量を維持したままでも、計算能力を100倍に増やせば、6ヶ月以内により良いモデルを訓練できることを示しています。
彼らは時間とコストの制約のために続けないことを選択しましたが、壁にぶつかり始めても、この最後のレベルの改善をまだ実現できます。100倍の訓練不足は非常に大きな改善の余地があることを意味します。はるかに優れたモデルが得られるでしょう。
では、データの制限について話しましょう。以前、カーパシーは、インターネット上の簡単にアクセスできるすべてのデータと他の電子的なデータという、現在のデータの制限が2024年にピークを迎えると議論していました。しかし、業界で行われている変更に基づいて、現在のデータ制限は2028年から2032年まで延びると考えられています。
音声や視覚からさらに多くのデータを得ることができますが、現在のデータでさらに多くのことができると考えられています。限界に達したと考えていた人々は間違っていたようです。何かコメントはありますか？
はい、聴衆の方々に理解してもらいたいのは、これはテキストデータの制限について話しているということです。これは本当にLLM（大規模言語モデル）のトレーニングのコンテキストでの話であり、人工超知能システムが持つ能力の一つの側面に過ぎません。
もちろん、テキストデータはかなりありますが、他にもさらに多くのデータがあります。あなたが言及したように、私たちはビデオデータから学び始める必要があります。またスパースに学ぶ必要もあります。まだ解決して活用する必要がある、手つかずの分野がたくさんあります。より価値のあるデータを使用することができます。
データについて2つ言いたいことがあります。1つは、ファイアウォールの内側にある企業のデータベース内のプライベートデータは、自由に利用できるものの約10倍あるということです。また、データの質も同じではありません。
トレーニングスペースでより価値のあるデータは何かを彼らは見出しつつあります。トレーニングデータは必ずしも推論データと同じではありません。例えば、数学の学び方を理解できるかもしれませんが、それを何か他のことを知る必要がある問題に適用するのとは同じではないかもしれません。
データ内には微妙な違いがあり、それが現在決定され、解明されつつあります。本当に価値のあるデータは何か、人工的により多く作成する価値のある合成データは何かということです。これはまた別の講演になるような複雑な問題です。
企業はこれで金を稼いでいます。大手ベンチャーキャピタリストのアンドリーセン・ホロウィッツによると、企業のAI支出は約50億ドルで、増加傾向にあり、価値を得ています。Glean AIは約20億ドルの評価額を持つ企業で、資金を調達しました。彼らは企業内の検索を行っており、メール、Slack、その他のものを検索します。人々はこれに対価を支払っており、生産性を向上させています。
NVIDIAのジェームズ・ファンは、我々がエージェント時代に入りつつあると話しています。単に質問に答えるだけでなく、デジタル仮想エージェントが質問に答えに行くのです。
そのAIエージェントがどのようなものになるか、人々は見逃しているかもしれません。これはマイクロソフトのVALLAVAというもので、まだリリースされていませんが、基本的に1枚の写真と短い音声クリップがあれば、人の話し方を模倣できます。
ターミネーター1の映画を覚えている人がいるかもしれませんが、ターミネーターが携帯電話や電話で誰かの声を聞いて、その人を模倣できたのと同じようなことです。これは基本的に同じことを行います。一瞬でその人を模倣し始め、感情も表現できます。
他の企業も同様のアバターに取り組んでいますが、これは最高のものの1つです。基本的に、デジタルエージェントの世界に向かっています。私たちのように見え、若い頃の私のように見えることもできます。例えば、20歳の頃の私が吃音なしで話しているクリップを与えれば、そのように話すことができます。
これがコミュニケーションの形になるでしょう。先ほど言ったように、AIはエージェントとインターフェースを解決するでしょう。これは数年以内に起こるでしょう。また、どの言語でも話せるようになります。OpenAIの音声技術は、英語と日本語、その他の言語間で即時翻訳ができると言われています。
また、MLLEのような技術で、画像と一緒に話すこともできます。
もう1つ、自己検索についてですが、Altman Capitalによる分析があり、その検索がどのように行われるかについて述べています。NVIDIAは検索を解決すると言っています。
これらのシステムを構築することの収益性は、大きな価値ある問題を解決することにあります。検索からは年間800億から1000億ドルの収益があり、AIがそれを行うでしょう。
異なるシステム間の進歩について、GPT-3.5のゼロショット（事前の微調整なし）では、人間による評価のコーディングベンチマークで48%の正確さでした。GPT-4は67%でした。つまり50%以上良くなりました。しかし、10回試行して修正を加えれば、現在のモデルでも95%に達することができます。
これが、コーディングが解決されると私が考える理由です。すでに95%までできているからです。アンドリュー・ンによるagentic workflowと呼ばれるものがあり、コーディングの問題だけでなく、ビジネスの問題にも取り組んでいます。ドラフトを修正してより良い答えを得るプロセスを経ています。
より速く、より安価であれば、ビジネスやソフトウェアにとって重要な場所で100%正確な答えを得る方法になるかもしれません。
ガートナーによると、ソフトウェア産業は年間1兆ドル以上の規模です。ITサービスは1.5兆ドル、コンサルティングサービスはおそらくさらに数兆ドルの規模です。先ほど説明したコーディングとソフトウェアの問題を解決できれば、それは数兆ドル規模の機会となります。
これらのソフトウェア、コンサルティング、その他の問題に答えを得るために、AIの推論クラウドで実行する必要があるでしょう。これが需要です。次にその解決が可能かどうか議論し、AIの推論システムでできるだけ安価に解決する必要があります。
最新のチップを使用すると、4年間で収益の7倍、24,000トークンの推論が可能です。基本的に、数兆ドルの問題を解決するために、電気自動車とテスラボットの組み合わせから10億個のチップがあれば、年間5兆ドルの需要があれば、チップあたり5,000ドルになります。
1,000ドル、5,000ドル、10,000ドルとチップあたりの価格が変わると、テスラがどれだけの数十億ドルを稼ぐかを計算しましたが、最終的には5兆から10兆ドルのビジネス需要があり、それらの問題を解決するためにこれらのチップに配布されるということです。
これは、世界中に10億個のチップを配布して問題に答え、作業を行うビジネスモデルになるでしょう。イーロンは年間200兆ドルの価値を持つ100億台のボットについて話しました。これは人間の労働を置き換えるなら、各ボットが年間2万ドルの価値を生み出すことになります。
単に質問に答えるだけでなく、物理的な作業を行えば、これらの数百兆ドル規模の評価に達します。
私の分散AIの推論は、テスラが数百万から数十億のAI5やその他のチップを展開することで可能です。他の人々も競争できますが、テスラとxAIには利点があると思います。チップあたり年間5,000ドル、各チップは通常のラップトップの20倍から200倍強力なペタフロップス範囲の性能を持ちます。
これらは答えや行動を提供し、それが評価モデルになります。これは先ほど説明したビジネスモデルで、時期的に可能な行動、例えば家の修理や庭仕事などに先立つかもしれません。
これはエネルギー問題も軽減します。10億個のチップを各家庭に分散させることができれば、家に10キロワットの太陽光発電があれば、そのデバイスに電力を供給できます。これは、1か所の巨大なデータセンターに1テラワットの電力を供給する問題よりも小さいです。
そして、これはAIDSマーケットの10倍から100倍大きくなるでしょう。
基本的にはこれです。テスラボットについて他にも話題がありますが、それは後で議論できます。これがテスラ、X、そして世界の未来に対する意味合いの一部です。Xについて議論したいですか？それとも他の質問がありますか？
人間評価のコーディングについて、高レベルで見ると、どのモデルを見ているかに関わらず、ChatGPTやLlama 3、Claudeなど、ゼロショットでタスクを行う際、基本的には次のようなことを想像してください。プログラムを書くよう頼まれたが、最初の直感だけでプログラム全体を書かなければならないとしたら。
GPT-3.5がそれで50%近くを達成し、GPT-4が70%近くまで達成したことを考えると、人々はミリ秒で生成される瞬間的な反応でそれができることの重要性と力、そして意義を過小評価しています。
しかし、それは次の推論ラインにもつながります。私の最初の直感だけが得られるなら、もちろん100%正確になるのは非常に難しいです。正しく進み、このプログラムのアイデアの迷宮を正しい目的地にたどり着くためには、いくらかの時間を反省する必要があります。
これが、特に数年前には、これらのモデルですぐに行いたくなかった理由の1つです。思考の1ミリ秒ごとに非常に高価だったからです。これらの巨大なデータセンターで実行され、多くの計算を使用し、多くの電力を消費します。
エネルギーコストを下げ、これらのチップにより多くの電力を提供し、チップをより効率的で強力にするにつれて、これまで解決したことのない大きな問題を解決する能力を持つことになります。数字は常に指数関数的な話をするときには狂っているように見えますが、私たちはムーアの法則がこれを可能にする70年の歴史を生きてきました。
つまり、すでに私たちができることの1つは、特にGroq社の推論システムのような基盤上で、他の競合他社よりもはるかに安価にトークンを生成できるようになっています。そのため、思考の連鎖推論、つまり考えて、再び考えて、再び考えるといったことがはるかに安価になっています。
エージェントの混合や思考の連鎖推論など、これらはすべて異なるアイデアの迷宮を正しい方向に進んでいるかどうかを評価するための一連の異なる思考をつなげる戦略の名前に過ぎません。
瞬間的な判断でプログラミングにおいてこれほど良い結果を出せるという事実は、知的に思考するための灰色の物質の基質があることを証明しています。今や、その灰色の物質を操作して、人間の推論と知性のパフォーマンスに追いつき、そして潜在的に超えることができるようにする方法を構築しようとしているのです。
この時点で、ブライアン、AGI（人工汎用知能）と人工超知能（ASI）の定義について、あなたの考えを聞かせてもらえますか？誰もが異なる定義を持っているようですが。
私にとって、AGI（人工汎用知能）とは基本的に人間ができることすべてを行う能力のことです。SATテストのようなものに合格できるかどうかといった指標は、技術的で学術的なもので、現実世界ではそれほど重要ではないと思います。それは合格する必要があるものですが、他にもGoogle Proofのような学術的な指標があります。これはGoogleで検索しても答えられない質問に答える能力のようなものです。つまり、より複雑な質問に答えられることです。
私の分析では、ビジネスやソフトウェアの価値の大部分を実質的に置き換えることができるかどうかに基づくべきだと考えています。800億ドル規模の検索市場、1兆ドル規模のソフトウェアとITコンサルティング市場、ビジネスプロセスの大部分を獲得できるかどうかです。
数兆ドル規模の評価に達し、我々が行っていることの20%を置き換えられれば、それを現実世界のAGIと呼べるでしょう。ビジネス価値を実際に奪っているからです。数兆ドル規模の価値というビジネス指標に結びつけるべきです。すべてを置き換える必要はないと思いますが、大きな部分を占めることが重要です。
より明確に定義するなら、おそらく10%が重要な指標だと考えます。採用曲線のS字カーブを考えると、10%を超えると物事が変わり始めます。エスケープ速度に達するのです。世界のGDPの10%をAIが占めるようになれば、基本的にAGIに達したと言えるでしょう。
では、人工超知能（ASI）への転換点はどこにあるのでしょうか？
人工超知能は、S字カーブの他端にあると考えます。基本的に90%に達した時点です。経済の90%を置き換えたり大きく変えたりした時点で、基本的に超知能と言えます。人類の大半を超え、変化を強いられる状況になります。
もちろん、その後我々は変化し、適応し、AIと協力して我々の地位を保つことができます。しかし、古い経済が静的だったとすれば、それが超知能の指標になると考えています。
つまり、それは学術的なテストで90%や100%を取れるかどうかではなく、実際に医師の仕事をこなせるかどうかということです。テストをシミュレートできるかではなく、生産性で測るということですね。
そうですね、抽象的な思考ではなく生産性で測るのが良いと思います。
では、イーロンがxAIで何をしているのかについて話し戻りましょうか。様々な角度からこの話題を見てきましたが、どの視点から話したいですか？
そうですね、私の見解を繰り返しますと、テスラはxAIに投資すべきだと強く信じています。その理由をもう少し説明すると、以前から注目していた人は知っていると思いますが、イーロンの将来のAI開発をテスラから切り離すのではないかという懸念があり、その報道で最も疑念が高まった時にテスラの株価が約1000億ドル下落しました。そして今、50億ドルの投資について議論しているわけです。
私の見方では、xAIはイーロンの将来のAIアイデアの多くが生まれる場所です。なぜなら、AIは比較的短期間で世界を変える大きな可能性を秘めていると考えているからです。我々はその一部を得たいと思うべきです。
xAIは独立した会社としてしか設立できません。なぜなら、超優秀なAIコーダーや科学者たちは数十億ドルの価値を求めるからです。超知能を創造し、そのためのビジネスプランを可能にするために、xAIのようなスタートアップが必要なのです。
イーロンは「これらの人材を確保する唯一の方法はxAIに入れることだ」と言いました。彼はテスラボットやロボタクシーを超えたアイデアを持っていると言い、私はそれを信じています。
私たちは、数百兆ドルの見返りがある、世界を完全に変えるものに乗るべきだと思います。また、構造的にも、デイブ・リーが言及したようなX.comの大きな持株会社のような硬直的なものは、必要なインセンティブに基づくと適切ではありません。AI分野のスーパースターにより多くのお金を与える必要があるのです。
彼らにインセンティブを与えて失わないようにするには、柔軟な構造が必要です。「公平ではない」と言われるかもしれませんが、人生は公平ではありません。彼らはより価値があるのです。イリヤ・スツケバーのようなことは私にはできません。
この複雑な持株構造が必要で、相互所有の問題もあります。なぜテスラからxAIにチップを提供するのか、なぜこれをあれにするのか、といった訴訟のリスクを取り除くためです。イーロンの帝国の全ての部分と、そこで働く人々は協力する必要があります。
異なる会社でありながら、多くの重複が起こるように構造化する必要があります。そのフローをスムーズにする必要があります。10%か20%の所有構造で十分で、100%所有する必要はありません。シリコンバレーでは20%や50%を取るのが一般的でしたが、残りはインセンティブを与える必要がある人々のために必要なのです。これが私の見解です。
投資家が考えるべき点で、めったに議論されないことの1つは、これらの異なる分野間のクロスポリネーション（交差受粉）の有益な性質です。言語モデルの領域での知能と人工知能の追求と、実世界での追求は、現時点ではまだ2つの似ているが非常に異なる取り組みです。
異なるタイプの人々を惹きつけ、アプローチも多少異なりますが、一方から他方への多くの持ち越しがあります。忘れてはならないのは、テスラが人工知能企業へと変貌を遂げたのは、イーロンがOpenAIをテスラとは別の組織として立ち上げたことが大きな背景にあるということです。
OpenAIの発展を見守り、そしてOpenAIで働いていた人々にテスラが当時取り組んでいたプロジェクトへのコンサルティングを依頼したことが、FSD（完全自動運転）プロジェクトを生み出したのです。アンドレイ・カーパシーは公開のポッドキャストで、イーロンとの出会いはテスラのためのコンサルティング作業を依頼されたことがきっかけだったと話しています。
イーロンはOpenAIの重要な利害関係者だったので、カーパシーは最初、完全自動運転の問題に取り組むことに興味がなかったのですが、イーロンの依頼でコンサルティング作業を行ったことで、この問題に興味を持つようになったのです。おそらく、彼はこの問題を解決するためにテスラで働くことを申し込むことはなかっただろうと思います。
このような動きは、xAIでも起こる可能性が高いと思います。xAIがテスラのためにコンサルティングを行うことで、両者の間に相互作用が生まれるでしょう。この時点で、両者の間に非常に有益な関係が生まれる素晴らしい機会があります。
xAIはテスラとは異なる方向で、より直交的なことに取り組んでいますが、テスラが持つ実世界のデータはxAIにとって有益になる可能性があります。逆に、大規模言語モデルはテスラ自身が構築する必要のあるものではありませんが、テスラの製品内で確実に有用なものになります。
xAIがテスラに大規模言語モデルや他のタイプの知的エージェントを提供し、その見返りにテスラがxAIに非常にユニークで価値のあるデータセットを提供するという素晴らしい取引を結ぶことができるでしょう。テスラからの全てのビデオデータがあるだけでなく、それは文字通り10年以上にわたってラベル付けされてきました。
人々はしばしば理解していませんが、生のデータではなく、ラベル付けされたデータが最も価値があるのです。テスラは実世界で動作する、大量のこうしたデータを持っています。そして、Optimusボットの展開を始めると、同じビデオデータで自動的に注釈付けできる全く新しい領域のデータを持つことになります。
これらの情報は、Googleがヒューマノイドロボットのスペースに参入しようとしても、彼らのDeepMindやGeminiなどのAIの取り組みにそのようなデータを提供するのは難しいでしょう。xAIはデータ獲得において優位に立つでしょう。
Googleがテスラと同じ規模でヒューマノイドロボットプロジェクトを運営する可能性は低く、限られているでしょう。そのため、これら2つの企業には多くの相互利益がありますが、十分に差別化されているので別々の組織であるべきだと思います。
そうですね、それについていくつかコメントがあります。現在、テスラは約1000万台の車を展開しています。現在は約700万台ですが、2030年までに順調にいけば1億台に近づく可能性があります。これらの車にはそれぞれHardware 3、Hardware 4、そして近々Hardware 5、AI3、AI4、AI5が搭載されます。
この展開された資産は、車1台あたり3万ドルとすると、1000万台で3000億ドル、1億台で3兆ドルになります。これは膨大な展開量です。OpenAIやマイクロソフトのような強力な企業でさえ、利益を出しながら車を販売しなければ実現できません。
同じことがテスラボットにも言えます。大量の物理的資産を展開する必要があります。これがイーロンが作り出しているビジネスモデルの基礎部分です。資産があり、彼は7年前に全ての車両にHardware 3、Hardware 4を含めるという選択をしました。それは当時はコストがかかりましたが、何年も先を見越した投資だったのです。
また、これはテスラとXだけでなく、XとxAIのデータ共有にも関係します。Twitterの情報テキストはxAIにとって非常に有用です。金融決済、PayPalのようなシステムにも進出し、金融データを持つことになるでしょう。
しかし、もしこれらを全て1つにまとめてしまうと、独占の問題やデータプライバシーの問題が生じます。物事を分けておく必要がありますが、同時に協力できるようにする必要があります。テスラはSpaceXと協力していますが、このパズルの全ての部分は基本的に、金融、輸送、宇宙、衛星、銀行など、経済全体を網羅しているのです。
しかし、これらの人々をここで動機付け、他のグループと協力し、協力する際に問題を起こさないようにするには、論理的に整列させる必要があります。この緩やかな構造が、法的にもビジネス的にも最良の方法だと思います。
全てを1つの固定された状況に押し込もうとすると、経済全体に広がるため、問題が生じます。主要な部分を別々に保つことで、構造の調整が必要になったときに対応できます。
そうですね。あなたの主張は、人工超知能が到来するということですか？基本的に全ての要素が揃っていて、それは避けられないということでしょうか？それとも、特定のプレイヤーがそれを達成する可能性が最も高いということでしょうか？
私にはバイアスがあります。かなりの量のテスラ株を持っているからです。テスラとxAIの利点が見えます。彼らは純粋なAIの側面では少し遅れを取っていますが、主要な経済的価値のポイントに到達する上では有利だと思います。
10台のボスを作ることや、いくつかの小さな質問に答えることではなく、数兆ドルの評価に到達することが重要です。イーロンと彼の企業の利点は、製造面にあります。
数兆ドルの評価を生み出すヒューマノイドボットを作るには、20万から50万のテスラボットを作り、テスラ工場に導入するだけで生産を倍増できます。そうすれば、テスラの評価は1兆ドルから5兆ドルに跳ね上がるでしょう。金融面でそのように機能するからです。他の会社にはそれができません。
理論的には、トヨタに10万や5万のロボットを導入することもできますが、彼らは工場のプロセスを迅速に変更できるようには設計していません。テスラはそれができ、アンボックスプロセスも人間ができることを基に設計されています。
テスラは非常に俊敏で、プロセスをロボットに合わせて調整できます。そのため、物事を10倍速く採用できるだけでなく、やり方を調整してシステムとよりうまく機能させることができます。これが彼らの利点です。
また、スターリンクの受信機や車両製品など、製品を市場に出す上でも利点があります。ハードウェアとソフトウェアの両面で統合されているからです。スティーブ・ジョブズが言ったように、優れたソフトウェアを作るには優れたハードウェアを作る必要があります。AIソフトウェアとAIハードウェア、そしてAIハードウェアはボットとチップの側面を指しますが、これらの組み合わせが彼らが勝利する理由だと思います。
超知能についての質問に戻ると、現在の労働を置き換えることは達成可能だと信じています。スタンフォード大学のAleohaプロジェクトでは、3人の大学院生がピンセットを持つロボットで料理を作ることができました。非常に少ないハードウェアと費用で、それを解決できました。これは、全てが解決されるという一種の証明点です。
経済的価値を得て、庭仕事や料理など家の周りのことを全てうまくできるようにすることについては、必ずしもxAIを必要としません。xAIが参加する機会はありますが、xAIの使命である「宇宙の本質を理解する」ことの重要性についてはどう思いますか？これは人工超知能に到達する努力に根本的に必要な要素でしょうか？
そうですね、いくつかの側面があると思います。完璧なロボタクシーには、より深い問題があるかもしれません。現在のアプローチで99.999%まで到達できると思いますが、それを超えるには問題があるかもしれません。
本当に優れたヒューマノイドロボットについても同様の問題があります。そして、科学の問題を解決し、技術をより速く進歩させることにループを作る際にも問題があるかもしれません。
xAIの即時的な応用として、私たちの車やボットと流暢に会話し、指示を与えることができるようになるでしょう。例えば、「私は助手席に座っているけど、この道を曲がらないで」とか「間違った曲がり方をしているよ」、あるいは「止まって、降りたい」などと言えるようになります。運転席にいなくてもコントロールできるようになるのです。これはxAIが提供できることで、車をより良くするでしょう。
また、車内でより快適に過ごせるようにしたり、あなたのために何かをしてくれたりする知能も、xAIが提供できるものだと思います。
おそらく、聴衆の方々にとってわかりやすい説明方法は次のようなものでしょう。ロボタクシーやOptimusボットは労働力の代替です。運転手や工場労働者の代わりになります。xAIが提供する機会は、必ずしも物理的な労働や運転手の代替ではありません。むしろ、エンジニアや科学者、あるいはエンジニアや科学者のチームのようなものです。彼らは調整と技術の境界を押し広げることができます。
テスラはすでに人材で素晴らしい成果を上げていますが、xAIはその人材をさらなるツールで補強する可能性があります。また、マネージャーやプランナー、フリート管理なども提供できるでしょう。
FSD（完全自動運転）バージョン12.6でフリート学習について言及されていました。例えば、行き止まりに遭遇した場合に「この道は行き止まりだから行かないで」と伝えたり、「ここにプールがある」など、そういった情報を共有することで、全体的な世界観を構築します。これは基本的なFSDシステムの一部ではないと思います。このような種類のフリート調整を行うには、xAIの関与が必要だと考えます。
世界全体を学習し、世界モデルを開発することは、単なる運転や特定の人間のタスクを超えたものです。イーロンは「現実はスケーラブルだ」と言っていました。その情報を収集し、そこから学ぶことは、xAIが関与する何かだと思います。
ハードウェア、ボット、車は常に情報を吸収し、学習しています。何を見て、どのように学んでいるのか。単に運転のためだけでなく、特定の人間のタスクだけでもなく、一般的に世界を学び、そしてそれを超えたより高レベルの洞察を得るためです。
そうですね。これらのチップが展開され、何らかの推論を行う能力があるという前提がありますが、同時に、より効率的に同じことを行える他のものがあれば、より効率的な形式のチップがその推論を行うことになるでしょう。これは、将来的に大規模な推論を行う正しい解決策は何かという緊張関係です。
分散コンピューティングプラットフォーム、つまり何百万ものHardware 3、AI4、AI5コンピュータがあちこちにあるような形式か、それともより中央集権的なトークンファクトリーのようなもので、おそらくエネルギーの1000分の1しか使わず、はるかに高速に動作するものか。この緊張関係をどのように考えていますか？将来的に分散型で推論を行うことの経済的な理由は何でしょうか？
主な問題は構築可能性だと思います。トレーニングと同様に、大規模なものが価値があるかもしれません。100万個のチップと100万スタックのメモリがあっても、1つの大きなチップのように見えます。
しかし、分散型のほうが、より小さな状況でモデルを効率的に実行できる可能性があります。本当に大きな推論エンジンが必要な状況もあるでしょうし、その場合は大規模なAI推論データセンターを作る必要があります。いくつかの企業がそれを作っていると思いますが、Groqは巨大なものを作ろうとしています。
本当に大きな問題を解決する必要がある場合もありますが、大多数の問題は長いテールの小さな質問で、多くの人々が持つものだと思います。これは分散モデルに適しています。
また、太陽光発電や電池を少しずつ配置し、チップを持つという全体的な広がりも考えられます。10億個、100億個、1000億個を世界中に広げることができます。
究極的には、現在の経済から切り離せば、可能な限り速く構築することになるでしょう。材料やエネルギーを吸収し、自動的に物を作り、数百兆ドルを費やしているけれど、もはやお金に意味がなくなる状況です。単に作れるから作っているだけで、それらは自己複製していくのです。
これは火星で意味を持つと思います。以前、その動画を作りました。火星に100万のギガファクトリーを作るという内容です。1つか2つのギガファクトリーと鉱山を作り、それが全体の惑星にわたる巨大な計算クラスターになります。同時にスターシップも作っています。太陽系全体を作るのです。
この物が金を稼げるかどうかという制限はなくなります。たくさんのものを送り出し、それらはバクテリアのようにすべてのリソースを消費し、作り出しています。しかし、それは関係ありません。なぜなら、それは独立して動作し、すべてのエネルギーを吸収しているからです。エネルギーはそこにあり、材料もそこにあります。我々は単に物質を再編成し、これらのものを作り出すことができるのです。
そうなると、制限がなくなります。超知能から制限のない状態への移行のどこかの時点で、これが起こります。それは20年から30年という短期間で起こる可能性があります。基本的に、火星に都市の種ができれば、それは無制限の未来への入り口になります。
太陽系全体を手に入れ、100万倍以上のものを得ることができます。そこでイーロンが「お金に意味がなくなる」と言ったのです。
質問に答えると、分散型は現在多くの意味があり、問題に適しています。我々は制限がなくなる地点に到達するでしょう。
なるほど、それは今日の議論を締めくくるのに良い場所だと思います。参加していただきありがとうございます。また機会があれば、あなたやファロードとこのようなトピックについてもっと議論したいと思います。ご参加いただき、ありがとうございました。
皆さん、次回もぜひご覧ください。ハンスのチャンネルをチェックし、彼とファラッドを見てください。また次回お会いしましょう。