2030年のAIに関する驚くべき新しい研究が明らかに...

Epoch AIは機械学習の傾向を調査し、人工知能の発展を予測することに焦点を当てた研究イニシアチブです。彼らは最近、AIの未来に関するレポートを発表しました。そのいくつかの予測は、おそらく最も正確であり、多くの人々が言っていることを考えると、かなり驚くべきものです。
基本的に、このビデオでは彼らの発見について掘り下げ、AIのハイプが本当に終わりから程遠いことを示します。そして、少なくとも2030年までの今後6年間で、私たちがかなりワイルドな展開を迎えることを示す実際の保守的な見積もりをお見せします。
レポートで見た最も驚くべきことの1つは、GPT-4からGPT-6相当のモデルへのスケールアップによって生じる可能性のある十分に大きな経済的リターンに関するものでした。これは、実質的なアルゴリズムの改善と、トレーニング後の改善と組み合わされています。
レポートでは、この証拠はGPT-5のような新しいモデルがリリースから1年以内に20億ドル以上の収益を生み出す可能性として現れるかもしれないと述べています。これは絶対に信じられないことですが、後でレポートでは、全体の経済生産量が年間約60兆ドルであり、AIモデルがそのうちのごくわずかな部分を自動化できるようになれば、20億ドルの経済価値を獲得することはそれほど難しくないと述べています。
ここでは、AIの機能の大幅な進歩により、モデルが既存のワークフローにシームレスに統合され、ブラウザウィンドウや仮想マシンを操作し、バックグラウンドで独立して動作できるようになると述べられています。
基本的に、ここで言及されているのはエージェント能力です。独立して動作するということは、これらのシステムがもはや人間をあまり必要としないということです。現在、AIシステムをほぼどんなタスクでもうまく実行させたい場合、そのAIモデルにプロンプトを与える必要があります。チャットを開いて「これができますか？」「あれができますか？」と聞き、プロンプトを洗練させて、AIシステムにたくさんの異なることをさせなければなりません。
将来的には、これらのものがバックグラウンドで独立して動作するようになり、それはかなり大きなスケールになることを意味します。この点について、もし私が以前に話した機械学習の傾向と将来のモデルがどのように進化するかについての別のビデオを見たのであれば、GPT-4からGPT-6レベル相当のモデルに、彼らが言うように実質的なアルゴリズムの改善とポストトレーニングの改善が加わると、絶対に信じられないものになるでしょう。
別の部分を見たとき、彼らは基本的にGPT-4からGPT-6への10,000倍のスケールアップ、または2030年までの将来のモデルが完全に20,000倍のスケールアップになる可能性があると述べていました。GPT-4からGPT-6へのモデルのスケールアップがどのようになるかを見るのは非常に興味深いでしょう。なぜなら、おそらく2つの巨大なトレーニングランがあり、実質的なアルゴリズムの改善があるからです。GPT-5が今年後半か来年初めにリリースされる可能性が高いことを考えると、それらの改善が各反復サイクルでどのようなものになるかを正確に見るのは興味深いでしょう。
これが20億ドルの経済収益または経済価値を生み出すことは絶対に信じられないことですが、要点は、将来何が来るかを示すべきだということです。GPT-5がリリースから1年以内に20億ドルの収益を生み出す可能性があるなら、将来のモデルがその時点で何ができるかを考えてみてください。
ここで見られるように、先ほど言及した60兆ドルの経済について述べています。経済的タスクの実質的な部分を自動化できるAIの潜在的な報酬は巨大であり、経済がデータセンター、半導体製造工場、リソグラフィー機械を含むコンピューター関連資本のストックを構築するために数兆ドルを投資することは妥当であると述べています。
スケールを理解するために、グローバルな労働報酬が年間約60兆ドルであることを考慮してください。基本的に、これは人々が経済を動かすタスクを行うために支払われる金額です。AIオートメーションによる加速された経済成長を考慮に入れなくても、人間の労働を効果的に代替できるAIを開発することが可能になれば、60兆ドルのフローのごく一部を捕捉するために数兆ドルを投資することは経済的に正当化されるでしょう。
先ほど言ったように、60兆ドルは非常に大きな金額です。そのうちのほんの一部、たとえば1兆ドルを獲得できたとしても、これらの企業が何をしようとしているのかを考えてみてください。これが、多くの人々がこれらの企業がAIに何百万ドルも費やしている理由を理解できない理由です。
最近、AIに関する記事がありました。そこでは、これらの企業がトレーニングランや研究者に何百万ドルも費やしているが、ウォール街は長期的な展望を理解できていないと述べられています。ウォール街はキャッシュフローや株式評価などのメトリクスを考えていますが、私はこの記事を皆さんにお見せしたいと思います。
ここに「AIバブルは崩壊したのか？ ウォール街は人工知能が果たしてお金を生み出すのかと疑問に思っている」とあります。過去18ヶ月間、あらゆる業界を革命的に変えると約束されたこの軍拡競争が始まって以来、ウォール街の頭の中には一つの質問がありました。それは、人工知能から実際にお金を稼ぎ始めるのはいつなのかということです。
先ほど言ったように、彼らはAIモデルを実行するために必要なデータセンターや半導体に数十億ドルを費やしていますが、ウォール街の人々は2030年までに物事がもう少しクレイジーになり始めることを考えていません。
私はこのように考えています。AIは現在、ChatGPTのような瞬間を迎えていますが、より多くの機能が登場し始めると、これらのAI企業はとてつもなく価値が高くなるでしょう。彼らが稼ぐお金は上がり続けるでしょう。私はそれが本当にそのようになると思います。もちろん、おそらく最終的には横ばいになるでしょうが、私たちはまだシグモイド曲線の上にいて、最後に大きなジャンプがあると思います。
多くの企業は、将来的にそれを理解できないようです。彼らは2043年までにタスクの100％が自動化されると予測しています。考えてみてください。グローバル経済が年間60兆ドルを生み出すとすれば、グローバルな労働報酬がどれだけ成長するか、あるいは減少するかはわかりませんが、これらのトップ企業がその価値の多くを獲得することになるでしょう。
これらの企業は現在、年間数兆ドルを稼いでいませんが、将来的にはAIと自動化により、初めてそのようなことが起こる可能性があると主張できます。私は、これらの企業の評価額が将来的に天文学的になると思います。これは株の話ではありませんが、ここで研究者たちは、60兆ドルのフローのほんの一部を捕捉するために数兆ドルを投資することは経済的に正当化されると言っています。これは多くの人々が考えられないことですが、2030年や2040年の未来がどのようになるかを考えると、本当に私の心を吹き飛ばすようなものになるでしょう。
ここでは10倍のアウトプットについて話しています。標準的な経済モデルは、AIオートメーションがほぼすべての人間の労働を置き換えるポイントに達すれば、経済成長はわずか数十年で10倍以上加速する可能性があると予測しています。この加速した成長は、経済生産を数桁増加させる可能性があります。この可能性を考えると、完全または近完全な自動化をより早く達成することは、グローバルな生産量の相当な部分の価値がある可能性があります。
この巨大な価値を認識して、投資家は従来のセクターから、AIの開発や、エネルギー生産、流通、半導体製造工場、データセンターなどの不可欠なインフラストラクチャーへ、資本の相当な部分を振り向ける可能性があります。この前例のない経済成長の可能性は、AIの開発に数兆ドルの投資を促す可能性があります。
今年の初めに、ある人物、サム・アルトマンがAIにどれだけのお金を費やすつもりか、そして将来の評価額についてどのように話していたかを覚えているでしょうか。ウォール・ストリート・ジャーナルによると、サム・アルトマンは5兆から7兆ドルという途方もない価格を提示しています。
ほとんどの人がこれを馬鹿にしているのがわかります。「そのような数字は馬鹿げている。まともな顔でこのようなことが話されているという事実は、より広範なAIの議論が現実から乖離している程度を示している」と書かれています。
しかし、私たちが見ているのは、研究を行い、保守的な結果を用いてAIの成長が実際にどこに向かうのかを本当に理解しようとしている人々です。覚えておいてください、これはクリックベイト記事を作る研究所ではありません。彼らは文字通り、誰でも見ることができるように研究結果を公開し、ツイートしているだけです。これは誇張されたものではありません。
ここで見られるのは、数兆ドルがこれに投資されることはそれほどクレイジーではないと述べていることです。サム・アルトマンがAIのビジネスとチップを再構築するために数兆ドルを求めているため、多くの人々はこれは狂っていると考えています。見てください、研究者たちを見てください。これは彼らが言っていることです。AIが経済をどれだけ自動化し、AIがどれだけの経済価値を吸収するかを見始めると、数兆ドルをそこに投入することはそれほどクレイジーには見えません。
投資家はAI開発に資本の相当な部分を振り向ける可能性があると認識しているのです。サム・アルトマンが数兆ドルについて話していたとき、彼はAIのハイプに関して完全に狂っていたわけではありません。これは、特定の研究機関がすでに話し始めていることなのです。
ここでは、より大きなモデルのためのコンピューティングについて話しています。2030年までのフロンティアトレーニングランは、Llama 3.1の5,000倍大きくなると予測されています。しかし、電力需要はそれほどスケールアップしないと予想されています。これにはいくつかの理由がありますが、今後6年間でLlama 3.1の5,000倍大きなトレーニングランというのはクレイジーに見えます。
しかし、想像してみてください。これは実際に保守的な見積もりです。なぜなら、彼らは高めの値も持っていますが、この文章では実際に保守的な見積もりを出しているからです。先ほど言ったように、これはハイプな新聞記事ではなく、実際に彼らが見ているデータに基づいて研究を行っている人々なのです。
これを考慮に入れると、将来は絶対に信じられないものになるように思えます。ここでは、トレーニングランがより長くなると予想していることがわかります。2010年以来、注目すべきモデルの中でトレーニングランの長さは年間20％増加しています。電力制約がより切迫するようになると予想されるため、トレーニングランの期間が長くなり、時間をかけてエネルギーのニーズを分散させる可能性があります。
もちろん、彼らは多くの異なることについて話していますが、基本的にトレーニングランは約1年、または数百日かかる可能性があると述べています。彼らは、研究所がより良いアルゴリズムとトレーニング技術を採用したいと考えるため、トレーニングランが1年を超えることはありそうにないと述べています。これらは実質的なパフォーマンスの向上をもたらすタイムスケールで行われるでしょう。
基本的に、トレーニングを1年間行っても意味がありません。なぜなら、トレーニングが終わる頃には、モデルを完全に再トレーニングする必要があるアルゴリズムの改善があるからです。これらの将来のモデルがどのようなものになり、どのようにトレーニングされるかを見るのは非常に興味深いでしょう。
ここでは、Llama 3.1が72日間、つまり3ヶ月強トレーニングされたのに対し、GPT-4は100日間、つまり3ヶ月トレーニングされたことがわかります。この1つは2ヶ月で、もう1つは実際に3ヶ月です。ポイントは、これらのトレーニング技術がどのように異なるかを見るのが興味深いということです。
現在見ているのは、企業がこれに絶対に買い込んでいることです。Metaがミズーリ州の350メガワットの太陽光発電所とアリゾナ州の300メガワットの太陽光発電所の電力出力の権利を購入したことがわかります。そしてAmazonは、隣接する2.5ギガワットの原子力発電所から960メガワットの契約を持つペンシルベニア州のデータセンターキャンパスを所有しています。
Amazonが必要となる電力量に関して本当に限界を押し広げていることがわかります。なぜなら、彼らは本当にこれに全力を注いでいるからです。これらの取引の背後にある主な動機は、グリド接続コストを節約し、今後数年間の信頼できるエネルギー供給を保証することだと述べられています。
データセンターは、前例のない大規模なトレーニングランを可能にする可能性があり、960メガワットのデータセンターは、今日のトレーニングランに必要な27メガワットの35倍以上の電力になります。これは、舞台裏ですでに始まっていることがわかります。これらの企業は、現在のAIモデルの35倍以上の電力が必要になることに備えて拡大しています。
いくつかの企業がギガワット規模のデータセンターのオプションを調査していることがわかります。基本的に、2030年までにギガワット規模のデータセンターが実現可能になると述べています。この評価は業界のリーダーによって支持され、最近のメディア報告によって裏付けられています。
米国最大の公益事業会社であるNextEraのCEOは最近、5ギガワットのAIデータセンターの場所を見つけることは困難だが、1ギガワットの施設をサポートできる場所が国内に存在すると述べています。基本的に、5ギガワットのAIデータセンターは非常に極端ですが、1ギガワットのデータセンターの施設は現在国内に存在すると述べています。
もちろん、OpenAIとMicrosoftが2028年までに数ギガワットの電力を必要とし、2030年までに5ギガワットに拡大する計画を持っていることを覚えているでしょう。これは大きな偉業であり、達成するのは本当に難しいでしょう。しかし、これは競争であり、多くのお金が投資されます。60兆ドルの経済価値を獲得しようとしていることを理解する必要があります。データセンターに数十億ドルを投資することは、彼らにとってはそれほど大したことではないでしょう。
ここでは、将来のトレーニングランについて話しています。トレーニングランは6ヶ月を超えることはないと想定し、2〜9ヶ月程度続くと想定しています。上限は、ハードウェアとソフトウェアの進歩が停滞した場合で、下限は進歩が加速した場合です。2ヶ月か9ヶ月になる可能性があります。これはかなりクレイジーです。まだかなり長くなりそうです。
そして、これは信じられないような統計に入るところです。チンチラのスケーリング法則は、データセット
のサイズとモデルのサイズを比例的にスケールアップすべきだと示唆しています。インデックス付きウェブ全体を使用してトレーニングデータを30倍にスケールアップすることで、ラボは30倍多くのデータと30倍多くのパラメータを持つモデルをトレーニングでき、結果として900倍のコンピュートになります。これは、モデルがチンチラ最適にトレーニングされた場合の話です。これは絶対に信じられません。
人々はすべてのデータを使い果たしたと言っていますが、実際にはそうではありません。30倍多くのデータ、30倍多くのパラメータ、900倍多くのコンピュートを持つモデルをトレーニングすることを想像できますか？これらのシステムがどのように機能するかは本当に信じられないものになるでしょう。
先ほど言ったように、多くの人々がこのデータの壁について話しています。これは、人々がデータを使い尽くすと考えている状況です。ここでは、最近の年4倍のスケーリングトレンドが続けば、約5年でこのテキストデータの壁に直面すると述べています。
しかし、他のモダリティからのデータと合成データ生成がこの制約を緩和する可能性があるとも述べています。マルチモーダルデータにより、約450兆から23クアドリリオントークンの効果的なデータストックが得られ、印象的なトレーニングランが可能になると主張します。もちろん、合成データにより、AIラボがデータ生成にコンピュートバジェットの相当な部分を費やせば、これをはるかに超えてスケーリングできる可能性があります。
合成データの会話は非常に興味深いものです。最近、合成データに関する問題に対処する論文がありました。基本的に、合成データには「モデル崩壊」と呼ばれる問題がありました。これが実際の問題ではないことを示す必要がありますが、人々が常に持ち出す問題です。
この画像は最高のものではありませんし、最高の記事からのものでもありませんが、基本的に彼らが述べているのは、実際の画像があり、それらの実際の画像が偽の画像を生成し、それらの偽の画像が別のモデルをトレーニングするために使用され、さらに多くの偽の画像を生成するということです。4回目の反復までに、システムが崩壊するということです。
基本的に、人間のデータの欠如がAIの進歩を制限するだろうと言っています。しかし、これらの研究が示しているのは、自分自身のデータを何度も何度もトレーニングするだけのモデルは、人間などでフィルタリングしていなかったということです。
これは、この論文について話している理由です。この論文は最近出たもので、AIが生成したデータの品質を向上させるための新しい方法を持っています。これには、生成されたデータをチェックし、将来のモデルのトレーニングに最良の例のみを選択するシステム（人間またはAIかもしれません）を持つことが含まれます。
基本的に、彼らは特定の条件下で強化データを使用することがモデル崩壊を防ぎ、場合によっては完璧なパフォーマンスにつながる可能性があることを数学的に証明しています。強化なしでAIが生成したデータでトレーニングすると、確かにパフォーマンスが悪化しますが（これがモデル崩壊です）、強化と最良のAI生成データの選択により、モデル崩壊を防ぎ、場合によっては元のモデルを超えてモデルのパフォーマンスを向上させることができます。
データとジェネレーター、そして強化システムの品質は、良い結果を得るために重要です。多くの人々が合成データは単に決して埋められない穴だと考えていますが、これが真実ではないことを示唆する多くの研究があります。
また、異なる制約を考慮した最大の実現可能なトレーニングランを示すこのグラフもあります。多くの人々がAIのハイプについて話し、AIの将来の進歩が完全に過大評価されていると言いますが、先ほど言ったように、これらはこれらのことを研究した人々であり、彼らは実際の異なる制約を考慮した最大の実現可能なトレーニングランがこれだと言っています。
ここにはさまざまな制約があります。エネルギー供給である電力制約、NVIDIAが十分なチップを生産できるかどうかというチップ生産能力、データの不足、そしてレイテンシーの壁があります。
最も拘束力のある制約は電力とチップの利用可能性であり、ここでかなりクレイジーなものが見られます。データは最も不確実なボトルネックとして際立っており、その不確実性の範囲は4桁に及びます。グラフでは、データがここの下から上まで広がっています。彼らは確信が持てませんが、2030年までにここに達すると予想しています。
全てを説明する別の画像をお見せしますが、基本的に最悪のシナリオ、文字通り最悪のシナリオでは、スケールの面で10,000倍大きなシステムを持つことになります。これは、実際に考えてみるとかなりクレイジーです。チップ容量が880,000倍、レイテンシーの面で100万倍になる可能性のある他の領域もあります。
これは、これらすべての平均を取ったものです。そして、もちろん、ここに引き下げられているのがわかります。つまり、完全に最高のものではありません。2030年のコンピュート予測では、2030年までにこれらのモデルをトレーニングするために10,000倍のコンピュートを持つことになることがわかります。これは、これらのモデルがその効果の面でただ爆発的に成長することを意味します。
これから得られる教訓は、基本的に10年の終わりまでに、つまり2030年までに、10,000倍大きなモデルをトレーニングできるようになるということです。GPT-2からGPT-4までのスケールが10,000倍大きかったことを覚えていれば、彼らは基本的に10年の終わりまでにそれができるようになると言っています。
過去3年間で私たちが経験したすべての進歩（かなりのものでした）を想像してみてください。しかし今では、すべての投資、すべてのお金、AIに注がれるすべての注目、ロボティクスの主要プレイヤーのすべて、Anthropic、Google、Amazonなどすべての会社が競争している状況で、10,000倍のコンピュートが利用可能になり、2030年までに10,000倍大きなスケールのモデルをトレーニングできるようになるとすれば、どのようなシステムが構築されるでしょうか。これはかなりクレイジーになるでしょう。
しかし、これは保守的な見積もりをした人々の研究でさえ、AIに関して信じられないほどの時代を迎えることを示していると理解すべきだと思います。
このビデオが、将来のコンピュートの観点から将来がどのようになるかについて少し教育になったことを願っています。全体は実際にかなり長いものです。ここでスクロールしているのがわかりますが、「AIのスケーリングは2030年まで続くか？」と題されています。
「AIトレーニングランのスケーラビリティを調査し、これらすべてのものを特定しました」と書かれています。全てがとても詳細で、多くの異なる人々がこれについて研究を行っています。全ての出典がここに記載されています。右側をクリックして、さまざまなものを見ることができます。時々画像もあります。
これを読みたい場合は、リンクを説明欄に載せます。下のコメント欄で、これについてどう思うか、そして将来がクレイジーになるかどうかについて教えてください。次回の動画でお会いしましょう。