ジェンセン・フアン「ムーアの法則の2乗」を目の当たりにしてます

6,377 文字

ほな、ジェンセン・フアンさん、NVIDIAのCEOはな、最近ちょっと気になる発言をしはったんや。他の誰かが言うたんやったら、大げさな表現やと思われるかもしれんけど。
ほな、全文引用させてもらうで。これはつい最近のセールスフォースのドリームフォースイベントでの発言やねん。こう言うてはったんや。
「これは驚くべき時代やで。歴史上、ムーアの法則よりも速く技術が進んだ時代はあらへん。今、わしらはムーアの法則をはるかに超えて進んでる。むしろ、ムーアの法則の2乗と言えるかもしれん」
ほな、「ムーアの法則の2乗」って何を意味してんねん？ワイ、ここにデータと研究結果全部持ってるんやけど、これを裏付ける証拠はあるんや。でも、ちょっと説明が必要やな。
ムーアの法則ってのは、いろんな説明の仕方があるけど、基本的に計算密度が18〜24ヶ月ごとに倍になるっちゅうことやねん。でも、実際に増えてるのは計算能力の総量と、ソフトウェア層での計算効率なんや。ほな、詳しく説明していくで。
ここに一つの事実というか、計算結果があるんや。1959年から2010年の間、世界中で実際に利用可能な計算能力の総量は、平均して17〜29ヶ月ごとに倍増してたんや。これは、物理的に利用可能やった計算能力の話やで。
考えてみてな。世界最速のCPUがあったとしても、それが1個しかなかったら大して意味ないやろ？つまり、チップの設計や速度だけやなくて、チップの総数も重要なんや。
ほで、2010年から2022年の間、計算能力の総量の倍増ペースは4〜11ヶ月ごとにまで短縮されたんや。これはかなり速くなってるってことやな。つまり、チップの密度が上がったかどうかは別として、チップの数自体がめっちゃ速いペースで倍増してるんや。これはハードウェア面の話で、チップの製造能力とかに関係してるんやな。
ほんで、モデルのパフォーマンスの面では、量子化や蒸留みたいなテクニックでいろんなことが起こってるんや。例えば、パフォーマンスを2倍に、あるいはそれ以上に上げられる最適化や効率化の例をあげるで。
ImageNetの分類精度のエラー率が、数年の間に28%から2%まで下がったんや。同じ期間に、学習時間もめっちゃ短くなってん。2017年10月には13日かかってた学習が、2019年7月には88秒、つまり1分半ちょっとで済むようになったんや。数百倍速くなったってことやな。
これが、特に画像生成を使うてる人なら実感できると思うんや。DalleやStable Diffusionの初期の頃は、結果がめちゃくちゃやったけど、今では写真みたいにリアルな画像が簡単に作れるようになってん。それも、たった2年ほどでな。しかも、もう研究室レベルやなくて商業的に使えるようになってるんや。
別の見方をすると、計算コストの話もできるな。お金を普遍的な単位として使うのは、ここでは結構便利なんや。Ray Kurzweilが言うてたんやけど、計算能力の購入コスト、つまりテラフロップスとかペタフロップスとかエクサフロップスの計算能力を買うのにかかるコストが、めっちゃ下がってんねん。何兆倍とか何千兆倍とか、とにかくめちゃくちゃな桁で下がってるんや。正確な数字は今手元にないけど。
全体的に見ると、シリコンベースのトランジスタのナノメートルスケールのアーキテクチャがどうこう言うても、ほとんど関係ないくらいなんや。なぜかって、この技術からもっと性能を引き出す方法をどんどん見つけてるからや。利用可能なフロップス総量、フロップスあたりのコスト、フロップスあたりのワット数、こういったものがどんどん改善されてるんや。
ほんじゃ、これからどうなっていくんか、何が来るんか、ちょっと考えてみようと思ってん。Jim Fanとのインタビュー全部見たんやけど、Jim Fanって人はNVIDIAの実体ロボット工学と基盤モデルの主任研究者の一人やねん。
Jimが言うには、人間と同じくらいの器用さとか柔軟性を持つロボットのハードウェアが登場するのは、2〜3年後くらいやって。もちろん、ロボットはすでに人間より力強くて速いし、他のことでもマシンは人間より優れてるんやけどな。Boston Dynamicsのロボットがバク転やパルクールをしてるの見たことあるやろ？あれ、わいより上手にバク転できるわ。わいがやったら肩壊すで、実際やってみたことあるし。
で、ハードウェアは2〜3年後やけど、Jimは汎用的なロボット用の基盤モデルも2〜3年後くらいにできるって言うてんねん。ほな、「ロボット用の基盤モデルって、OpenAIやGoogleが作ってる基盤モデルとどう違うねん？」って思うかもしれんな。
基盤モデルが言語から始まる場合、つまりトークン化モデルの場合、その主要な、いわばホームベースみたいな環境はデジタル情報なんや。ファイルとか、トークン化できるもの全部が対象やな。テキスト、画像、動画、そういったもんや。
一方、NVIDIAは「なんでもからなんでもへ」モデルを作ってるんや。つまり、データである限りどんな入力でも受け付けて、どんな形の出力も出せるっちゅうもんや。でも、わいらが予想してるのは - わいらって言うても、わいが話した人たちってことやけど - おそらく、いくつかの主要な分類のモデルができるんちゃうかってことや。
まず、Andre Karpathyが言うてる認知モデルみたいなもんがあるやろな。言語モデルとか推論モデルとか、そういう認知エージェントみたいなもんや。これらは推論したり、計画立てたり、問題解決したりできて、コード書いたりテキスト書いたりもできるんや。
それから、もっと専門的なモデルもあるやろな。AlphaFoldとかAlphaProteinみたいなやつや。これらは今日の人工知能っていうよりは、どっちかっていうと古典的な機械学習に近いかもしれんな。でも、そこらへんの区別はあんまり関係ないかもしれん。要は、人間にはできへんことを、コンピューターが学習して、人間より速く安くできるようになるってことやからな。
んで、もっとロボット向けのモデルもあるやろな。これらは、摩擦の多い環境を移動したり、いろんなロボットの車体を使ったりするのに向いてるんや。簡単に言うと、アナキンがC-3POを作ってるときに差し込んだドロイド用の脳みたいなもんやな。ドロイド用の脳を差し込んだら、そのドロイドは世界を移動したり、基本的な指示に従ったりできるようになるんや。
でも、おそらく別の推論エンジンも必要になるやろな。これは、より高度で複雑な問題解決とか、記憶管理とかそういったもんのためやな。
ほんで、全部が一つのモデルに統合されるってこともあり得るし、逆に専門化されたモデルが周辺機器みたいになるってこともあり得るんや。例えば、ASICsっていう特定用途向け集積回路や、ニューロモーフィックチップがロボットの車体に組み込まれて、ロボット用の基盤モデルすら必要なくなるかもしれんな。
実際、そっちの方向に行く理由はあるんや。まず、ハッキングできへんやろ。ソフトウェアを書き換えるところがないし、IPプロトコルもない。ネットワーク接続のないハードウェアやったら、ハッキングできへんやろ。それに、効率もええんや。
大量生産できるし、その効率の良さは本当に重要になるで。ASICsは普通、速いだけやなくて省エネにもなるからな。ロボットを何十億台も作ろうと思ったら、エネルギー効率は本当に大事になってくる。特にバッテリー寿命とか、電力網への負荷とかな。
だから、もっと優れた汎用ロボットができてきたら、ソフトウェアレベルでもいろいろできるようになるやろうけど、脳幹みたいなもんやと思ってな。人間の脳幹とか小脳は、運動パターンを生成するのに重要な役割を果たしてるんや。だから、考えんでも歩けるんやな。
体の下位部分が、基本的に自己学習したASICみたいなもんで、移動したり物を操作したりするのを担当してるんや。だから、車の鍵とかドアノブを取ろうとしたとき、指一本一本や手全体、腕全体のことを考えんでもええんや。
もちろん、意識的にそのプロセスを乗っ取ることもできる。特に新しいことを即興でやろうとするときなんかは、ロボットにもそういう能力が必要やろうな。でも同時に、自動化して効率よくできるもんやったら、そっちの方向に行くもんやな。
ほんじゃ、言語モデルの役割はどうなるんやろか。もちろん、言語モデル用のASICsも作ろうって話もあるんや。だから、これもまた予測しにくいところやな。ハードウェアとソフトウェアの観点から、いろんな形態が考えられるし、もしかしたら全部実現するかもしれんな。
ASICsは多くの機能、特に移動や世界の基本的なナビゲーションには意味があるかもしれん。言語の目的によっては、ASICsが意味を持つ場合もあるやろな。例えば、音声認識や音声合成なんかは、めっちゃパワフルな言語モデルは要らんかもしれん。基本的なASICにそれを任せられるかもしれんな。
一方で、これらのモデルを蒸留して量子化できるなら、ロボットに汎用プロセッシングユニットを搭載して、必要に応じてモデルを交換する方が有益かもしれんな。うん、いろんな可能性があるわな。
ほんじゃ、ロボット工学の台頭について話そうと思うんやけど、Jim Fanの言うことが正しいとして、2〜3年以内に人間と同等かそれ以上のロボットができるって仮定しよう。人間を超える人工知能は、今年末か遅くとも2025年までには実現しそうやな。これは、ほとんどの知的な分野でそうなりそうや。
ほな、これが経済や我々のライフスタイルにどんな意味を持つんやろか。まだいくつか制約はあるけどな。
まず一つ目は規模の経済や。例えば、ソニーとBoston Dynamics、Figure 1、そしてunireなど、人型ロボットを作ってる全ての企業が明日「できた！汎用基盤モデルができた！」って発表したとしよう。「このロボットは人間よりも能力が高いんや。ほら、このロボットチームは4時間で家を建てたで。別のロボットチームは核融合炉を作ったり、高エネルギー物理学の研究に参加したりしてるで」ってな。
そんなことが明日起こったとしても、十分な数のロボットを作るのには時間がかかるんや。生産を拡大せなあかんからな。
よく聞く意見の一つに「資源が足りんから拡大できへん」っていうのがあるけど、それは違うんや。世界中で年間7000万台の車を作ってるんや。今、世界中に14億から15億台の自動車があるんや。そして、Jim Fanが言うには、人型ロボット1台は車1台の4%の資源で作れるんやって。つまり、車1台分の資源で25台の人型ロボットが作れるってことや。
ほな、その7000万台の車の資源を全部ロボット作りに回したらどうなるんやろ。ちょっと計算機出して...朝早すぎて頭回らへんわ。7000万かける25...17億台の人型ロボットが毎年作れるってことやな。
もちろん、そうしたらバッテリーや鉄鋼、マイクロチップなんかの価格は上がるやろうけど、要は、何億台、場合によっては何十億台ものロボットを作る工業能力はすでにあるってことや。あとは資源をどう配分するかの問題やな。
その規模の経済には時間がかかるし、統合の課題もあるやろうな。でも、従業員も雇用主も、ほぼ同じことを言うてはるんや。人型ロボットが5万ドルするとしても、人間の労働者と同じくらい優秀で、疲れを知らずに働けるなら...バッテリーが少なくなったら延長コード繋ぐだけやし、もっと良いのはバッテリー交換できるタイプやな。
年間5万ドルで、メンテナンス費用が1万ドルやとしても、人間の労働者を置き換える価値はあるんや。病欠の心配もないし、訴訟リスクもない。雇用給付の心配もいらん。ただの設備になるんや、人間やないからな。
でも、その設備が garage全体を運営できたり、必要なことを全部やってくれたりするんや。自分で掃除もできるし、仕事もこなせる。税金の申告だってできる。経済的に見たら、十分価値があるってことやな。
ほな、3年後に、肉体的にも精神的にも人間ができることを何でもできる高性能ロボットが5万ドルで手に入るとしよう。もちろん、この価格帯はほとんどの中流家庭には手が届かへんやろうな。
でも、誰かが指摘してくれたんやけど、そんなに高かったら車みたいにリースすればええんや。支払いプランを組むんや。ほとんどの人は一括で払えへんやろうし、メンテナンスやアップデートも必要やろうから、多くの人はどうせリース契約みたいなことになるんちゃうかな。
つまり、ロボットが5万ドルするからって、手が届かへんってわけやないんや。支払いプランで考えてみよう。ちょっと車のローン計算機使ってみるわ...
ほな、車両価格5万ドル、頭金なし、下取りなし、ローン期間72ヶ月...月900ドルくらいになるな。5年間でな。
かなり高いけど、もしこれで月900ドル以上稼げるか、900ドル以上節約できるなら、十分価値があるんちゃうか。
わいなんか、家で常にアシスタントがおって、動画編集してくれたり、皿洗いしてくれたり、家の修繕してくれたりしたら...月900ドル喜んで払うで。料理も洗濯も家のメンテナンスも全部やってくれて、仕事の手伝いまでしてくれる超パワフルなロボット、十分価値あるやん。
5万ドルの価格でも、わいにとっては十分価値があるんや。車よりもそのロボットにお金使うかもしれんな。だって、車のメンテナンスまでしてくれるんやで。「ねぇロボット、オイル交換して」「車直して」みたいな。
もちろん、適切な設備がなかったらできることは限られるけどな。でも、そんな便利な汎用のアシスタントがおるってことは、お金払う価値があるんちゃうかな。
そして、どの企業も同じ計算をするやろうな。「これ、月900ドルかかるけど、IT部門も営業部門も全部任せられるんやったら...」めっちゃ価値があるよな。
でも、ここがポイントなんや。全ての企業が同じ計算をするんや。月900ドルって、ほとんどの従業員よりずっと安いんや。特に高レベルの従業員と比べたらな。
想像してみ。これが数学、化学、物理学、コンピューターサイエンスの博士レベルの知能を持ってて、月900ドルで、基本的にアインシュタインレベルの天才が会社で働いてくれるんや。しかも、全員がそのレベルの知能を持ってる。
これは、「人間全員クビにしてロボット雇おう」って考えるのは当然やろ。
だから、2〜3年以内に、こんな状況に直面するのは十分あり得ると思うんや。人間サイズのロボットで、何でもできて、月900ドルでリースできる...そしたら、経済の他の全てのものに何が起こるんやろう。
これを全部解きほぐすには時間がかかるけど、今日はここまでにしとこか。ジェンセンとJim Fanの考えはこんな感じで、これを裏付ける数字もあるんや。
ほな、今日はこれくらいにしとこか。ありがとう聴いてくれて。
そうそう、わいの小説「Heavy Silver」が出たで。heavy silver.netで買えるで。5年半かけて17回書き直したんや。
それと、わいの学習コミュニティ「New Era Pathfinders」がSchoolってとこでめっちゃ人気やねん。もう300人以上のメンバーがおって、週3回のウェビナーとコミュニティフォーラムがあるんや。学習コンテンツもアップしてるで。興味あったら、school.com/neweraPathfindersで確認してな。ありがとう。