「対数スケールの直線」――全ての証拠が知能爆発を指し示している

8,178 文字

おはようございます。今日はようけ話すことがあるんですけど、まあ結論から言うてしまいますと、知能爆発が来るかどうかについて話そうと思います。データが何を示してるか、サム・アルトマンが何を言うてるか、そして他にどんな制約があるかについても触れていきますわ。
サム・アルトマンが新しいブログ記事を出したんで、それについても話します。それから、Epoch AIが発表した研究についても触れますわ。これは実際に起こってることと、これから起こることについての生のデータを見たもんです。
最後に、知能以外の制約についても話しますわ。ここで制約って言うてるのは、経済生産性と科学の進歩に対する制約のことです。これらは人工知能の影響を測る上で、多くの人が重要やと考えてる2つの主な指標みたいなもんですわ。
結局のところ、お金の話と科学の進歩の話になるわけです。科学の進歩は発表される論文の数と質で測られます。それに加えて、その論文の知的貢献度の大きさも重要です。多くの科学論文は、needle（針）を0.01%しか動かさへんからです。そうなると、針を1%動かすのに何百もの論文が必要になってしまいます。
まず、サム・アルトマンが新しい個人ブログを公開しました。そこには夢見るような、漠然とした約束がたくさんあったんです。例えば、「AIの進歩は人間の能力を劇的に加速させる」とか、「前例のない繁栄と超知能が1000日ほどで達成される」とかいうものです。
でも、私はそこから本当に具体的な主張や断言を選り分けてみました。結局、5つくらいしかなかったんです。
1つ目の予測は、AIがパーソナルアシスタントになるってことです。まあ、これはすでに取り組まれてることなんで、特に目新しいもんじゃありませんわ。
それから、個別化された教育について話してました。教育テクノロジーの分野にいて、その業界に友達もおる私からすれば、これは間違いなく来ます。みんなで取り組んでるところです。
3つ目に、仕事は変わっていくけど、一部の人が予想するよりもゆっくりと変わっていくって言うてました。
4つ目の具体的な話は、前例のないAIインフラ、つまり計算能力とエネルギーが必要になるってことです。これはみんな知ってるし、同意してることですわ。
最後に、スケーリングが効果的やったってことを観察として述べてます。これは「深層学習が機能した」という3つの言葉でポエティックに表現されてました。
eyebrows（眉）を上げさせたのは、「数千日で超知能を手に入れる」って言うたことです。まあ、これは1000日から1万日くらいの範囲やと思いますけど。私はちょっと軽く聞こえるかもしれませんが、実際には彼に同意してます。新しい数字を見ると、AGIは2025年、超知能は2027年くらいになりそうです。
でも、それでもまだ展開とスケーリングと規模の経済の問題があって、まだまだ起こらなあかんことがようけあるんです。
次に、Epoch AIの話に移りましょう。グラフの説明はベストを尽くしますが、友達に説明したように、「対数スケールの直線」みたいなもんです。1つのグラフを見たら、他の100万個も同じように見えるんです。
重要なのは、まだ収穮逓減が見られへんってことです。実際、Epoch AIの1番目のグラフでは、AIの訓練に使われる計算量（FLOPs）を1951年から2025年まで図示してます。
最初の数十年、1951年から2010年までは、AIと機械学習に使われる訓練用の計算量は年間1.4倍で増えてました。対数スケールで数十年にわたって見ても、1951年の10の4乗FLOPsから2010年の10の12乗FLOPsまで増えてるんです。つまり、6つの10年で1000から10億に増えたわけです。
でも2021年からグラフの方向が変わって、年間1.4倍やったのが4.1倍になったんです。これが深層学習の時代です。この観察結果は、過去15年間続いてる持続可能なトレンドなんです。
私はデータが大好きで、具体的なデータがあればそれを信じるべきやと思ってます。対数スケールで直線が続いてるのを見たら、それはかなり持続可能なサインやと言えるでしょう。
この研究発表には他にもたくさんのグラフがありますが、要約すると次のようになります。
まず、訓練用の計算量が6ヶ月ごとに倍増してます。これが年間4倍ってことです。
訓練コストは9ヶ月ごとに倍増してます。少なくとも最先端のモデルについては、9ヶ月ごとに倍増してるって明確に述べられてます。
訓練用の計算量が6ヶ月ごとに倍増してるのに、なんでコストは9ヶ月ごとにしか倍増してへんのかって思うかもしれません。これはNVIDIAのCEO、ジェンスン・フアンが言うてたことに関係してます。
より大きなデータセンターやクラスターを作ると、規模の経済が働くんです。エネルギーの節約ができるし、他の計算やネットワークの面でも利点があって、より経済的なスケーリングができるようになるんです。
もう一つ観察されたのは、言語のスケーリングが視覚よりも速いってことです。これは言語の方が幅広い用途があるからやと思います。コードを書いたり、ログを読んだり、いろんなことができるんです。APIコールを書くこともできます。
プログラミング言語を含む言語をマスターすることは、単なる視覚よりも経済的な効用が高いんです。言語のスケーリングが視覚よりもそんなに速いわけじゃなくて、1.2倍くらいですけど、それでも速いんです。これは私にとって驚きじゃありませんでした。データポイントとして含めただけです。
訓練ランの数は8ヶ月ごとに倍増してます。これは計算量ほど速くは増えてへんのが面白いところです。
訓練時間は年間1.2倍しか増えてへんのも興味深いです。2010年には1回の訓練に約1日かかってたのが、今は約100日かかるようになってます。それでも複利効果があるので、年率20%の複合年間成長率でもかなり速く増えていきます。
現在、2024年の訓練ランは約100日です。これが続くと、10年か15年以内に1000日や1万日になる可能性があります。
最後に、必要な電力も年々倍増してます。6ヶ月ごとやなくて12ヶ月ごとに倍増してるんです。
たくさんの指数関数的な成長、対数スケールの直線をたくさん見てきました。この研究はすべてEpoch AIによるもんです。リンクは説明欄に載せときますんで、グラフを見てみてください。とてもきれいに示されてて、スケールアップしてるってことの包括的で説明力のある見方を提供してくれてます。
最後に、他の制約について話したいと思います。レイ・カーツワイルの言うてることと全ての証拠が一致してるんです。過去70年間のムーアの法則を見ても、AIの計算量の成長を見ても、基礎となるトランジスタ密度の上に別の指数関数が乗っかってるんです。
これがジェンスン・フアンの言うてた「二乗されたムーアの法則」ってやつです。基礎となるトランジスタが昔ほど速く倍増してへんかもしれへんけど、AIモデルの6〜9ヶ月での倍増は確かに起こってます。
利用可能な計算量の総量も6ヶ月ごとに倍増してるってことは、チップ工場ができる限り速くチップを作ってるってことです。それだけやなくて、新しい世代のチップは前の世代の2〜10倍の効用があるんです。
知能爆発が来るってことを示す証拠は、圧倒的とまでは言えへんけど、かなり説得力のある議論があります。データがそれを裏付けてるんです。
多くの人が「どうやってそれをコントロールするんや」って言います。私はこれまでにも話してきましたが、「コントロールを失う」って主張には説得力がないと思ってます。
AIには意志があるかもしれへんけど、人間のような動機をAIに当てはめるのは大きな間違いです。これを人類学的投影って言うんです。「人間のような動機を仮定してへん、AIが自分で目標を作り出すと仮定してる」って言う人もいるかもしれへんけど、目標という概念自体が人間の投影なんです。
私の考えでは、言語モデルは新しいCPUみたいなもんです。新しいタイプのプロセッサーです。言語モデル自体は無害で、何かをしたいっていう欲求はありません。
CPUがYouTubeの動画を見せるのに使われたり、軍事訓練に使われたり、核ミサイルを操縦するのに使われたりするのと同じように、有害なことに使われる可能性はあります。二重用途技術は怖いもんです。電気が登場した時も怖がられました。
それじゃあ、実際の経済的、科学的な制約について話しましょう。サム・アルトマンや他の人たちは、彼らが作ろうとしてるユートピアの未来について語る時、遠い目をしてます。私も同意しますよ、私たちはユートピアに向かってるんです。でも、彼らが信じてるほど、あるいは信じてもらいたいほど単純明快じゃありません。
例を挙げましょう。科学研究の最前線における主な制約は何でしょうか？私は2つの実験を選びました。1つはLHC（大型ハドロン衝突型加速器）、もう1つはジェームズ・ウェッブ宇宙望遠鏡です。
これらの最先端の科学実験において、主な制約は知能じゃありませんでした。お金、時間、エネルギー、材料が制約やったんです。IQが250の博士が100万人いたとしても、プロジェクトはちょっと速くなるかもしれへんけど、それでも非常に高価で、非常に遅く、大量のエネルギーと材料の投入が必要やったでしょう。
結局のところ、敵はエントロピーなんです。物質とエネルギーです。知能の問題を解決しても、どの産業にも他の制約があります。私はこれをいろんな角度から見てきました。輸送、通信など、セクターごとに見てきました。
最終的に、私は第一原理に立ち返って、数学が何を示してるかを見てきました。科学的に価値のある人間の活動、経済的に価値のある人間の活動を見ると、確かに多くの分野で知能は重要な制約です。
でも、ほとんどの分野で最も重要な制約ではありません。例えばエネルギーを見てみましょう。原子炉を建てるにしろ、太陽光パネルを作るにしろ、核融合を研究するにしろ、人工知能はある面では絶対に役立ちます。
でも結局のところ、多くの作業は現場での作業です。太陽光発電所の設置、原子炉の再建、そして核融合の研究です。知能は核融合研究を加速させるかもしれへんけど、大規模な実験が必要な場合、テスト用の原子炉を建設するのに何年もかかることがあります。
結局のところ、物質とエネルギー、そして時間と空間の問題になるんです。これは別の理由でもあるんですが、ちょっと話それますけど、人々は私にOpenAI O1についてどう思うか聞いてきます。ほとんどの場合、まだSonetほど役に立ちません。
この実験をChatGPTでやってみたんですが、基本的なアイデアしか出てこなくて、もうちょっと役立つようにプッシュバックしたり、しつこく聞いたりしても、あんまり役に立ちませんでした。
でも、適切なプロンプトを使うと、クロードの方がずっと簡単なプロンプトで、知能以外の科学的・経済的制約について、非常に良い第一原理的な見方を提供してくれました。
結局のところ、物質とエネルギー、時間と空間、そしてエントロピーの問題なんです。原材料、重材料、希少材料、これらすべてが制約に関係してきます。
エントロピーは生物学的プロセス、生物圏、経済プロセス、人間のプロセス、光速、重力、利用可能な空間の量など、いろんなものに関係してきます。知能以外にもたくさんの制約があるんです。
だから、仮に明日AGIができたとしても、ロボットがなければ...まあ、AGIはより良いロボットを作るのに役立つでしょうけど、それでもロボットを作るには時間がかかります。ロボットを作る工場を作らなあかんし、ロボットを作る材料も必要です。
つまり、何をしようとしても、問題を解決しようとしても、経済を加速させようとしても、科学を進めようとしても、常に制約があるってことです。これが制約の法則です。
1年から5年、あるいは10年以内のどこかで、知能が主な制約ではなくなる可能性は十分にあります。でも、他にもたくさんの制約があるんです。
政治プロセスや人間のプロセス、人間の脆弱性や愚かさ、本当に基本的なドジなことが、これを遅らせるでしょう。
こういう話をするのは水を差すためやないんです。他の制約についても考える必要があるってことを指摘したいだけなんです。
例えば、超知能の達成に焦点を当てるとしましょう。私はそれが起こると思います。市場の力が整列してるし、インセンティブ構造も整ってるんで、超知能は起こります。私たちが押し進めようが押し進めまいが起こるんです。
主な制約はデータ、エネルギー、計算能力です。だから、みんなそれらに取り組んでるんです。マイクロソフトはスリーマイル島で原子炉を稼働させようとしてるし、サム・アルトマンは核融合に投資してます。
人々は最大のエネルギー消費型データセンターの建設を計画してます。これらの問題はすべて取り組まれてますが、同時に制約でもあるんです。
データについては、すべてのデータを消費して、得たデータを反芻したら、自己対戦でできることには限界があります。ある時点で、実験をする必要があるんです。
オッペンハイマーの映画で言われてたように、理論だけでは限界があります。最終的には、実験室に入って実際に実験をして、有用な新しいデータ、有用な新しい情報を生成する必要があるんです。
有用なデータ、有用な情報を得るには、テスト用の原子炉を建設する必要があります。有用なデータ、有用な情報を得るには、望遠鏡を宇宙に打ち上げる必要があります。
つまり、有用な人間の知識の領域を拡大するのは、しばしば非常に遅くて非常に高価なんです。AIは有用な人間の知識をすべて消費してしまう境界にぶつかるでしょう。科学が進む前にね。
とは言え、その人間の知識の泡の中でも、まだたくさんのことができます。材料科学やコンピュータ科学、理論物理学などについて知りうるすべてを知ってれば、確かにいろんな新しい製品を作るのに役立ちます。
多くの人にとっては、科学の最前線はどうでもよくて、どんなガジェットが手に入るかの方が大事なんです。ここで、より「サイバーパンク」的な考え方になります。
どんな病気でも治せる薬、サイバネティック・インプラント、クールなVRなど、これらはすべて経済的に価値があり、経済的に有用です。私たちの生活の面でも興味深いものになるでしょう。
一歩下がって考えると、私が話してるのは知能爆発のことです。これらの制約があっても、AIは今年か来年には知的能力の面でほとんどの人間を追い越すように見えます。ロボットもそれほど遅れてません。
商業的にスケーラブルで有用なロボットは、2〜3年後には実現するでしょう。人工超知能や人間以後の未来に到達するずっと前に、私たちはみんな働く必要がなくなりそうです。
サムが彼のブログ記事で言うてた、仕事は人々が期待するか望むよりもゆっくりと変化するってことについては、ある程度同意します。これは私がポスト労働経済学を通じてよく探求してきたことです。
新しい経済パラダイムに入るのか、人間の労働に対する需要があるのか、多くの課題があるでしょう。でも、ある種の「自動化の崖」に到達すると思います。
この言葉を聞いたことがない人のために説明すると、私はこれを以前「自動化のパラドックス」と呼んでました。でも、技術的に「自動化のパラドックス」と呼ばれる別のものがあります。
元々の定義は、自動化すればするほど、自動化するものがもっと増えるってことです。基本的に、自動化のスキルが向上すると、自動化できるものがもっと増えるんです。
でも「自動化の崖」の方がちょっと正確かもしれません。AIとロボットが台頭しても、人間がすることがある限り、人間がすることはおそらくもっと増えるでしょう。
AIとロボットは疲れを知らないから、行き詰まったら人間を待つことになります。でも、AIとロボットが最後の機能を引き継ぐまでは人間がすることが増え続けて、そして突然、人間がすることがなくなるんです。
これは予測です。正しいかもしれへんし、正しくないかもしれません。人間の労働への需要が次の5〜10年で指数関数的に増えて、それから突然ゼロになるとしたら、経済や雇用の安定性にとって大変なことになる可能性があります。
でも、現実はそんなにきれいに割り切れるもんじゃありません。仕事ごとに起こる可能性があります。例えばコールセンターは崖から落ちつつありますが、特定の個々の仕事が一つずつ崖から落ちていくと思います。
間違いなく、ある程度の仕事の移動、創造的破壊があるでしょう。コールセンターは恐竜のように消えるかもしれません。でも、同じ量の新しい仕事が生まれるかというと、おそらくそうではありません。
データを見る限り、自動化が過去20年で1500万の仕事を生み出したって言う人もいますが、同時に3000万の仕事を破壊しました。少なくとも最近のデータを見る限り、自動化は一般的に仕事の純損失をもたらしてます。
ちょっとPerplexityで検索してみましょう。「自動化は仕事の純損失をもたらすのか、それとも純増をもたらすのか」、言い換えれば「自動化は破壊する以上の仕事を生み出すのか」ってことです。
このデータを見るのは久しぶりで、前回見た時はPerplexityがなかったんで、嘘をつきたくないんで、何か証拠があるか見てみましょう。
利用可能な研究や専門家の意見によると、自動化の影響は複雑で微妙なものです。はっきりした答えは出てこないみたいですね。
世界経済フォーラムは、2025年までに自動化は破壊する以上の1200万の仕事を創出すると示唆してます。
歴史的に見ると、技術は長期的には破壊する以上の仕事を生み出す傾向があります。例えば、インターネットは数百万の新しい仕事を生み出し、米国GDPの約10%を占めるようになりました。
今のところ、少なくともこのコンセンサスに基づくと、自動化は一般的に仕事を増やすようです。ゴールドマン・サックスは、AIが今後数年でグローバルGDPを7%増加させる可能性があると推定してます。
そのGDP増加は新しい仕事に変換されると仮定してるんですが、私はあんまり信じてません。時間が教えてくれるでしょう。データを待つってのが私のモットーです。
このエピソードはちょっと長くなってしまいました。でも、要点は伝わったと思います。Epoch AIとサム・アルトマンのブログに関しては、全部ショーノートに載せておきます。
最後に私からのお知らせですが、新しい時代のパスファインダーコミュニティを始めました。3つのフレームワークに焦点を当てていきます。
1つ目はTLC、つまり治療的ライフスタイルの変化です。これはロジャー・ウォルシュが先駆けとなった8つのポイントからなるフレームワークで、これに従えば幸せで健康になれます。
2つ目はRUPAです。Reduce worry（心配を減らす）、Understand impact（影響を理解する）、Prepare for changes（変化に備える）、Align accordingly（適切に調整する）の頭文字を取ったものです。これは特に、AIによって変化する状況に私がどう適応しているかを示すものです。
最後はシステム思考です。これは15年のIT業界での経験と、4〜5年のAI業界での経験を通じて洗練させてきたものです。YouTubeブランドの構築やAI研究を含め、私がやってきたことすべてにシステム思考を使ってきました。非常に有用なフレームワークです。
最後に、私の小説「Heavy Silver」が出版されました。Barnes & Nobleで入手できます。ウェブサイトはheavysilver.netです。
最後まで聞いていただき、ありがとうございます。また明日お話しします。じゃあな！