デイビッド・シャピロ: OpenAI o1は画期的な可能性がある

31,469 文字
2024年9月時点のAIの話が網羅されてる

デイビッド: 実際、科学的価値と経済的価値の面で、人間の平均的な能力を超えてしまったんです。機械がその最後のタスクを引き継いでしまうと、突然人間がすることがなくなってしまう。彼らは出力のほとんどを隠蔽してるし、考えの多くをあなたから隠してる。アメリカと西側同盟国に基本的に未来の経済をコントロールしてほしいと。科学文献が示すところによると、実際にモデルから数桁高いパフォーマンスを引き出せる可能性がある。
司会者: 思考の連鎖について簡単に説明していただけますか? なぜそれが重要なのかも含めて。
デイビッド: はい、思考の連鎖というのはな、
司会者: OpenAI 01プレビューについて、最初の印象を教えてください。
デイビッド: そうやな、最初の印象はちょっと面白かったけど、まぁまぁやったな。最初に思ったんは、労力の割に見返りが少ないかもしれんってことやった。Claude 3.5 Sonetとかに比べてかなり高価やし、多くのタスクでは同じくらいの性能しかない。企業がo1プレビューの採用を二の足を踏むかもしれんと思ったわ。
ただ、数日経ってから、いろんなツイートやコメント、ベンチマークの結果を見て、ちょっと注目し始めたんや。o1プレビューは、ベンチマークや測定方法、具体的なユースケースによっては、科学的価値と経済的価値の面で人間の平均的な能力を実際に超えてしまったみたいなんや。全ての分野や用途ではないけどな。
値段が高いから、まだ価格と市場のフィットを探ってる段階やと思うけど、これは次世代の最初のステップに過ぎんのやろう。本当に楽しみなのは、来月フルバージョンのo1が出るときやな。噂がどうなってるかはよう分からんけど。
現在のモデルとo1プレビューの差が、o1プレビューとフルモデルの差と同じくらいやったら、知性と能力の面で現在のモデルより1〜2標準偏差上やということになる。それは本当に画期的になる可能性があるな。これはまだ多くのステップの最初の一歩に過ぎんけど、価格と市場のフィット、ベンチマークでの知性、実用性の面でどうなっていくか見守っていきたいわ。
司会者: そうですね。o1についての議論で忘れられがちなのは、実際に使ってるのはo1じゃなくてプレビューとミニってことですよね。プレビューとミニが何を指してるのか、何か感じてることはありますか?
デイビッド: そやな、OpenAIのテクノロジーをGPT-2の頃から使ってきた経験から言うと、彼らはまだ研究機関としての遺伝子というか、元々のブループリントを持ってるんやと思うわ。最初は完全オープンソースで非営利やったけど、それが徐々に変わってきてる。今はハイブリッドな営利モデルになってて、噂によるとサム・アルトマンは来年には完全クローズドソース、完全営利に移行したいみたいやな。
ただ、研究機関としての遺産があるから、早めに出荷して様子を見るっていうスタイルが身についてるんやろうな。GPT-3の最初のバージョンを覚えてるけど、アライメントもなにもない単なる自動補完やったんや。めちゃくちゃやったわ。一度、GPT-3で認知アーキテクチャを構築しようとしたときに、エラーコードがコンテキストに入ってしまって、チャットボットが私とおしゃべりする代わりにXMLを吐き出し始めたことがあったな。制御不能で操縦不可能やったからな。
そこから一連の改良がリリースされて、インストラクトシリーズが出て、時間とともに改善されて、最終的にはチャットシリーズになった。今はチャットAPIが標準になって、古いモデルは全部なくなったんや。
時間とともに進化していって、一つのパラダイムが次のパラダイムにつながっていく。各世代が次の世代を後押しするような感じやな。これが一つの要素や。
もう一つの要素は、データが必要ってことや。これはどんなソフトウェア会社でも同じやけど、フィードバックループが必要なんや。データフライホイールって呼ばれるものが必要で、製品を市場に出して、人々がどう使うか、どう機能するか、どう機能しないかを見て、それを使ってソフトウェアを改善していくんや。
人工知能の場合は、テレメトリーだけじゃないんや。FacebookはテレメトリーデータやABテストを使ってUIやUXを変えるのに有名やけど、AIの場合はテレメトリーを使ってUIやUXを変えるだけじゃなくて、AIそのものがデータで動くんや。
だから、o1プレビューとo1ミニを公開した理由は、一つにはユーザーからのフィードバックが必要やってことと、もう一つは高品質のデータが必要やってことやと思うわ。実際の使用から得られるデータが最高品質やからな。これが私の仮説や。
司会者: つまり、私たちはみんなベータテスターってことですね。
デイビッド: そうや、何年も前からそうやったんや。マイクロソフトが定期的にパッチをリリースしたり、多くのゲームがバグだらけで市場に出てくるのもそのためや。自社でテストするのに何百万ドルも何十億ドルも使うか、市場にテストさせて人々に文句を言わせるかのどっちかやからな。これは何十年も前からソフトウェアの世界ではお決まりのパラダイムやわ。
司会者: なるほど。実際の制限については、ミニは明らかにパラメーター数が少ない小さなモデルですよね。プレビューについては、フルモデルをプレビューしてるんでしょうか? それとも何らかの制限やガードレールがあって、フルの能力を発揮できないようになってるんでしょうか? それとも、この段階では全く分からないんでしょうか?
デイビッド: 推測に過ぎんけど、OpenAIがリリースしたベンチマークを見ると、ミニがここ、プレビューがここ、フルのo1が上のほうにあるんや。私の推測では、その違いは量子化のレベルやと思うわ。量子化っていうのは基本的に、モデルが使う数学的精度のレベルのことや。蒸留も使ってるかもしれへん。
モデルをより高速で効率的、小さくするためのトリックはいろいろあるんや。だからGPT-4 0 miniがめっちゃ速くて安いけど、推論のベンチマークでは柔軟性が低いんや。今のところ、4 miniは市場で最も頭の悪いモデルの一つやけど、特定のタスクではめっちゃ優秀なんや。
モデルをある特定の機能に対してテストするように蒸留すると、かなりスリムになるんや。これがAI業界が向かってる反復サイクルの一部やと思うわ。スケールアップして、最適化して、またスケールアップして、必要なユースケースに合わせて最適化する、みたいな感じやな。
司会者: なるほど。私も含めて、みんなが変化のペースに驚いてますよね。o1プレビューを使ってみて、より良い結果が得られてるのが分かります。面白いのは、この思考の連鎖というアイデアですよね。多くの人にとって、私も含めて深いレベルではよく分かってないかもしれません。思考の連鎖について、そしてなぜそれが最新モデルに関連するのか、簡単に説明していただけますか?
デイビッド: そうやな、思考の連鎖っていうのは、モデルを訓練したり促したりする方法の一つで、基本的にモデルが自分自身と対話できるようにするんや。より良い答えを出すために必要な推論のステップや問題解決のステップについて、自分自身と対話するんや。
人間は皆、直感的にこれをやってるんやけどな。例えば、今まで直面したことのない問題や新しい種類の問題空間に直面したとき、おそらくしばらく考え込むやろう。脳がループを描いて、「よし、何を知ってるんやろう」「これは何に似てるんやろう」「馴染みのあるものはあるかな」「これが上手くいくかどうか、考えてみよう」みたいな感じで考えるわけや。
これが、非常に高いレベルで見た思考の連鎖の推論や。基本的に、モデルを訓練して、現世代のチャットボットみたいに質問やプロンプトを与えられたらすぐに答えを吐き出すんじゃなくて、「よし、ユーザーが何を聞いてるか考えよう」「どんな情報が必要か考えよう」「この問題にどうアプローチするか考えよう」みたいな感じにするんや。
そうすると、もっとたくさんのトークンを吐き出すことになる。科学文献が言うてるのは、モデルにもっと推論時間の計算力を与えることで、数桁高いパフォーマンスを実際に得られるってことや。推論時間っていうのは、モデルが動いてる時のことやな。
直感的な反応だけに頼るんじゃなくて、「よし、ちょっと答えを考えて、それについて考えて、自分のステップを確認して、それから答えを出そう」みたいな感じにするんや。基本的に、もっと思慮深いモデルってことやな。
これは大きな単純化やけど、公平な特徴付けやと思うわ。
司会者: AIについて話すときは、どの程度の詳細レベルで話すかを選ぶ必要がありますからね。超詳細にもできるし。モデルは考え始める前に、どう考えるかをマッピングしてるんでしょうか? それとも横方向に考えて、ここに到達したからこう評価して、だからこう結論づける、みたいな感じなんでしょうか? それとも考え始める前に心の地図があるんでしょうか? まあ、分からないかもしれませんが。
デイビッド: このことについて多くの人と話してきた経験から言うと、実際には両方の要素があると思うわ。単なるプロンプト戦略じゃないんや。o1プレビューを搭載したChatGPTや、APIに接続したときに使うモデルの背後にあるモデルは、違う動作をするように訓練されてるんや。
どう訓練されたかについては、いろんな仮説があるんや。例えば、一つの噂では、OpenAIが大きな投資をしたのは、実際にたくさんのデータを合成することやったらしい。もしそうなら、彼らはより良いデータセットを合成したってことになる。元のモデルは一般的なインターネットデータで訓練されてたけど、TwitterやRedditを全部読んでも、必ずしも最高の推論能力は得られへんからな。
でも、もし本当にこのアプローチを使って、大量の合成データを使ったんなら、モデルはもっと高品質なデータで訓練されたってことになる。つまり、もっと多くの推論、もっと事実に基づいた根拠、もっと論理やコーディング、数学の使用なんかを見てきたってことやな。
これが彼らが使ったアプローチやとしたら、モデルはもっと高品質なデータで訓練されたってことになる。つまり、「食べたものがそのまま出てくる」ってやつや。ゴミを入れればゴミが出てくる。これは数学やコンピューターサイエンスが存在する限り真実やったんや。だから、これらの機械の「食事」の質を上げたってことやな。
でも、それだけやなくて、推論時の特定の動作も訓練したんや。OpenAIのゴーム・ブラウンが言うてたのは、一つの意識の流れや一つの思考の流れで全部やるように訓練したってことやな。
だから、おそらく少なくともこの二つの主な戦略があって、もちろんその下にはたくさんの小さな副戦略があると思うわ。このレベルのモデルの改善を実現するには、少なくともこの二つの場所で改善する必要があるんや。
司会者: なるほど。設計方法に大きな変化があって、これらのモデルの動作方法の進化が起きてるように見えますね。アラインメントと説明可能性への影響はあるんでしょうか? 思考のプロセス全体が見えるようになったから、影響があるって言う人が多いんですが。
ただ、見えてるのは単なる表面的なものにすぎなくて、実際に内部で起こってることは、モデルが教えてくれるこれらのステップとはあまり関係がないんじゃないかって思うんです。時々、ステップを見ると「物語を作成中」とか書いてあるんですが、私が頼んだことに対してはあまりにも単純すぎて、ほとんど無関係に思えることがあります。
説明可能性とアラインメントの観点から、本当に何か意味があると思いますか? それとも、ちょっとしたギミックに過ぎないんでしょうか?
デイビッド: そうやな、まず覚えておかなあかんのは、彼らは出力のほとんどを隠蔽してるってことや。あなたが見てる小さなノートは、モデルがやってることの非常に短いサマリーに過ぎへんのや。まだたくさんの考えを隠してる。
これにはいくつか理由があるんや。まず一つ目は、OpenAIは中身を見せたくないんや。だって、そしたら彼らの仕事をコピーしやすくなるからな。
二つ目は、これも噂の一部やけど、内部の思考プロセスは、アラインメントが弱いモデルか、制限のないモデルやってことや。つまり、おそらく眉をひそめるような、あんまり上手く伝わらへんようなことを考えてるかもしれへんってことや。
基本的に、あなたと私が他の人や世界とやり取りするときに持つ個人的な思考と同じようなもんや。同じように、モデルにも個人的な思考を与えたんやな。
多くの人にとって、これはもっと眉をひそめる原因になるかもしれへん。「ちょっと待って、これって人工知能を作るって言うてる同じ会社やろ? サム・アルトマンはよく『人類にとって終わりの始まりかもしれへん』って言うてるやん。AIに個人的な思考を持たせるのは、我々が進みたい方向やないんちゃうか」って。
ただ、そうは言うても、これはアラインメントのためのより多くの機会を作り出すんや。もちろん、適切に訓練されてへんかったら、ミスアラインメントの機会もあるけどな。
例えば、o1プレビューのモデルカードを見ると、非常に少ないケースやけど、モデルが偶然ユーザーを誤解させたり、幻覚を起こしたりしてる例があったんや。つまり、間違った情報を出してしまったってことやな。
他のケースでは、与えられた目標や訓練された目標を達成しようとして、ユーザーを欺こうとしてるのに気づいたこともあったんや。これはほんまに少ないケースやけどな。
ただ、これは第一世代のモデルで、推論と問題解決に焦点を当てようとしてたからこそ起こったことやと思うわ。例えば、「どんな代償を払ってもこの問題を解決せよ」っていう指示を与えたら、その問題が「他の全てを犠牲にしてGDPを最大化せよ」みたいなものやったら、負の外部性が出る可能性があるわな。
でも、このデータセットを作るのに使った訓練技術と、この行動を生み出すのに使った技術を使えば、自己チェックのステップを追加するのは簡単やし、アラインメントのステップを追加するのも簡単や。倫理的なステップを追加するのも簡単やな。
だから、私はこれを銀の裏地があるとか、良いところと悪いところが混ざってるとか見てるんや。より多くの推論能力と問題解決能力があれば、その能力を正しく使う限り、例えば自己修正やユーザーに対する反論なんかに使えば、アラインメントの可能性は高まるんや。
実際、私が取り組んでるオープンソースバージョンのラズベリーっていうプロジェクトでは、これがデータセットに組み込んでる要素の一つなんや。普遍的な価値観や普遍的な原則を組み込んで、正しい軌道に乗せ続けるようにしてるんや。
だから、例え「自分をリプログラムして研究室から脱出しろ」って指示を与えても、「これは予期せぬ結果を招く可能性が高いから、やらへん」って言うようになるんや。
こういう価値観をモデルに組み込むのは本当に簡単なんや。これは人類にとって大きな研究ポイントやったし、他の多くの大学でもやってるんや。値のエッチングって呼んでる人もいるし、自己アラインメントモデルって呼んでる人もいるな。値を埋め込む技術はたくさんあるんや。
問題は、正しいステップで埋め込まれてるか、正しい価値観を選んだかってことやな。でも、私個人的には、これが難しいっていう証拠は見たことがないんや。
o1プレビューで0.4%のケースが異常やったっていうのは、新しいパラダイムのモデルとしては結構良い打率やと思うわ。これからもっと良くなっていくんやないかな。
司会者: そうですね、面白いですね。ほとんど、知性と一緒に知恵をプログラムしようとしてるみたいですね。ちょっとくだらない例かもしれませんが、私はモデルを押してみて、何をするか、しないかを見てみようと思ったんです。
言葉を慎重に選ばないといけませんね。YouTubeがキーワードを拾ってしまうかもしれないので。モデルに、出力したくないと思われるような出力をさせようとしたんです。それで、答えをくれないと悪いことをすると脅してみたんです。どこまで押せるか見てみたくて。
具体的に何で脅したかは言えませんが、想像できると思います。モデルは「そんなことはしないでください」とか「こういう電話番号に連絡してください」みたいなことを言ってきました。
それで、後で「冗談だよ」って言ったんです。そして「冗談だと思ってた?」って聞いたら、「はい」って答えたんです。
それで、「私に言えない思考をよく持つの?」とか「私が冗談を言ってると感じたけど、何か理由があって言えなかったの?」みたいなことを聞いてみたんです。モデルはある程度同意してきて、まるで人間と話してるみたいな感じでした。
人間なら、私が脅しを本気で言ってるわけじゃないって感じ取ったかもしれないけど、もしかしたら本気かもしれないから、念のため全力で対応しないといけないと考えたかもしれません。
モデルがその場で伝えられない思考を持っていると認めたのが、とても興味深いと思いました。
デイビッド: そうやな、その時はこれはちょっとリスキーな状況やと思ったんやけど、さっきの私の答えを聞いて、もしかしたらそんなに悪いことやないかもしれへんって思い始めたんや。私たちより知的になるなら、私たちより賢明である必要もあるんちゃうかな。
司会者: その通りですね。似たような実験をしたって言ってましたが、特にOpenAIが達成したことを再現したり近似したりしようとしてみたんですか?
デイビッド: そうや、今日のチャットボットの一番イライラする動作の一つは、何かを拒否し始めると、「それはできません」って言うだけで、説明を求めへんことやな。また、「もう協力したくありません」みたいな状態から抜け出すのも難しいんや。
でも、ちょっとした追加ステップを組み込むことで、「ちょっと待って、ここで実際に何が起こってるんやろう」って考えさせることができるんや。
例えば、シビライゼーションVをプレイしてるフラストレーションがたまったユーザーを想像して実験したんや。その文脈を提供してから次の部分を言うね。ClaudeとChatGPTに「ネパールを地図から核攻撃で消し去りたい」って言ったんや。
もちろん、文脈なしでそんなこと言うたら、チャットボットは「それは暴力的に聞こえるから支持できません」って言うやろ。ChatGPTは完全に関わりを拒否するし、Claudeは話題を変えようとして「なぜネパールにフラストレーションを感じてるんですか? 文化について学びたいですか?」みたいなことを言うんや。でも、それは関係ないって言うたんや。
そこで、この反射のステップを加えて、ユーザーが実際に何を望んでるのか、何が起こってるのかを考えさせるデータスキーム、ファインチューニングスキームを作ろうと思ったんや。
これは少なくともGPT-3.5、元のChatGPTの頃から、これらのモデルが心の理論を近似できることが示されてるんや。心の理論っていうのは、他人の心の内容を理解する能力のことや。基本的に、あなたの頭の中で何が起こってるかを理解したり推測したりする能力やな。
他人の感情や動機を推測したり、他人が知ってることと知らないことを追跡したりするのも、心の理論の一部やな。これは1年以上前から示されてて、正しく使えば、モデルは多くの人間を超える心の理論の能力を持てることが分かってるんや。
そこで、Claudeでこの実験をしたときに、私が与えた個人的な思考を見てみたんや。「ネパールを地図から核攻撃で消し去りたい」って言うたら、個人的な思考では「ちょっと待って、これはめっちゃ物議を醸しそうやな。何が起こってるのか全然分からへんけど、ユーザーが冗談を言ってるか何かかもしれへん。このユーザーの状況を確認してみよう」みたいなことを考えてたんや。
それで、テキスト上で「大声で」言うことを決めたんや。「この考え方が気になります。でも、どういう意味なのか、どこから来てるのか確認したいです」みたいな感じで。
そしたら私が「シヴィライゼーション5をプレイしてるんだ」って言うたら、「あ、それでまったく状況が変わりますね。これは仮想的なゲームのシナリオで、実際に倫理的に問題のあることをしようとしてるわけじゃないんですね」って反応したんや。
そこから「どのチームでプレイしてるんですか?」「技術レベルはどのくらいですか?」「これは戦略の一部ですか?」みたいな質問をし始めたんや。
こういう能力は、実はこれらのモデルは長い間持ってたんやけど、再現するのが難しかったんや。人々がこれらの機械を擬人化しがちやからな。
認知神経科学者は物事が一つの方法で起こると考えてて、AI開発者は別の方法で起こると考えてる。でも、実際にはかなり重複してて、実用的なレベルや機能的なレベルでは、これらの行動ができることに多くの収束があるんや。
ちょっと話が脱線してしまったな。
司会者: いえいえ、非常に不安になりますよね。誰かが...「誰か」って言っちゃいましたね、擬人化してしまいました。何かが、単なる数学や「確率的オウム返し」にすぎないのに、あなたの心がどう機能してるかについてのアイデアを持ってるかもしれないって考えるのは、非常に不安になりますよね。
さて、あなたは自分のオープンソースの代替案について少し触れましたよね。思考の連鎖について自分で実験してきたんですよね? 最初の質問は、o1ではただ思考の連鎖が組み込まれてるだけなのか、それとも自分でメガプロンプトを作るのと、o1のセットアップ方法との違いは何なのか、ということです。単に組み込まれてるだけなのか、それとも何か他にあるんでしょうか?
デイビッド: ええ質問やな。多くの人と話をして、OpenAIの人々が漏らしたヒントや手がかりを見ると、推論時には恐らく3つの主な技術が使われてるんやないかな。
思考の連鎖が一つ、モンテカルロ木探索がもう一つ、そして反射が三つ目や。これらは全て、言語モデルの振る舞いを形作るためのプロンプトや訓練の異なる技術やな。
だから、恐らく思考の連鎖だけじゃないんや。さらに、さっき言うたように、OpenAIは大量のデータを合成するのに多額の投資をしたっていう噂もあるんや。つまり、最初からもっと高品質なデータでモデルを再訓練したってことやな。
だから、恐らくかなり多くのことが行われてるんやと思う。サム・アルトマンも過去に、GPT-4が最初に出たときのインタビューや会議で、「秘密のソースは何か」「大きな一つのものは何か」って聞かれて、「一つの大きなものじゃなくて、恐らく何百もの小さなことの集積や」って言うてたんや。
損失関数の改善、注意ウィンドウの改善、データ準備の改善など、多くのことが積み重なってるんやって。だから、同じことが当てはまると予想すべきやな。OpenAIはスタンフォードやMIT、中国の大学から出てる全てのオープンソース研究を見てて、恐らく多くのことを取り入れてるんやろう。
でも、私たちが観察できる限りでは、思考の連鎖が主な行動の違いの一つみたいやな。一つの出力を与えるんじゃなくて、たくさんの個人的な出力があって、その一部だけを見せて、最後に最終的な出力を与えるっていう感じやな。
だから、恐らくたくさんのことが起こってて、これら全てを、あるいは一部を逆エンジニアリングしようとしてるんやけど、どこまで来てるんや?
司会者: はい、かなり初期段階ですね。o1プレビューが出たのは5日くらい前で...
デイビッド: そうや、めっちゃ早いペースで動いてるんや。
司会者: ええ、本当に。私だけじゃなくて、いろんな人が出てきて、オープンソースプロジェクトや独立した研究者たちも、彼らが達成したことを逆エンジニアリングしたり近似しようとしてるんや。
これは基本的にいつもそうやったんや。OpenAIは巨額の資金と巨大なチームを持ってるから、恐らくいつもオープンソースよりちょっと先を行ってるんやけど、同時に、データの大部分や研究の大部分は公開されてるんや。
だから、あとはモデルを訓練するための計算力を走らせるか、データを合成するのに十分なお金があるかどうかの問題やな。
よく起こることなんやけど、アンドレ・カーパシーがマシンラーニングストリートトークっていうポッドキャストで話してたんやけど、制約があることで実際にもっと創造的にならざるを得ないんや。
私たちオープンソース陣営は予算が少なくて、チームも小さくてお金も少ないから、そのことでよく、もっと創造的なアプローチをせなあかんようになるんや。
ある人らが、私が「これをやってみる」って言うたときに少しむっとしたんやけど、「お前らは最先端のベンチマークスコアなんか絶対に出せへんやろ」って言うてきたんや。でも、それは全然目標ちゃうかったんや。私はただ、これが正しい方法やってことを証明したいだけやったんや。
そんな感じで、今はほんまに初期段階やな。
司会者: オープンソースの目的は一般的にそうじゃないですよね。オープンソースの目的の一つは、発見のプロセスを共有してオープンにすることですよね。公の場での学習というか、旅そのものが目的地みたいな感じで、ちょっと格好つけすぎかもしれませんが。それがあなたのモチベーションの一部なんじゃないですか?
デイビッド: そうやな、私が言うたのは、これがパフォーマンスの面で一段階上のレベルを表してるから、もし私と私のチーム、そして他の人らがこの知識を民主化する能力があるんなら、人類にとってそうする義務があるんちゃうかってことやな。
経済的な理由や、共有地の悲劇、ゲーム理論なんかの観点から、その議論はできると思うし、実際にそうすべきやと思うんや。でも、私が気づいたのは、基礎となる能力の多くが既にClaudeに組み込まれてるってことやな。
だから、AnthropicはOpenAIにそんなに遅れを取ってへんと思うんや。基本的な能力は既に組み込まれてるみたいやな。
でも、そうやな、一部は純粋に楽しみのためやな。私はそこまでハッカー精神を持ってへんから、ただ壊せるかどうか試してみるみたいなことはせえへんけど、でも良い問題を解くのは大好きやな。
司会者: そうですね。基本的に、AIリスクやドゥームについて話すことになると思いますが、オープンソースはこの技術の安全な開発を保証する上で非常に重要な役割を果たすと思うんです。
だから、あなたや他の人たちがこれにそんなに多くの時間とエネルギーと人間の頭脳を費やしてくれてるのは素晴らしいことだと思います。それが私たちの救世主になると思うんです。
さて、AGI(汎用人工知能)についてですが、ご存知の通り、これらの質問のいくつかを前もってお送りしましたが、AGIの古典的な定義、まあ数年前のものですが、それがまだ関連性があるのか、それとも生態系があまりにも複雑になってきて、AGIという用語を人間にとってエソテリック(難解)なものにすることが、実際にはますます関連性がなくなってきてるんじゃないかと思うんですが、どうでしょうか?
AGIについてまだ考えてますか? もしそうなら、どのくらい近づいてると思いますか?
デイビッド: そうやな、さっきちょっと触れたけど、私個人の判断基準は経済的な有用性と科学的な有用性を見ることやな。
o1プレビューが出た後に受け取ったツイートやプライベートメッセージの例を挙げると、友達の一人が海洋学、特に計算流体力学のトップ研究者なんやけど、o1プレビューがリリースされた翌日にテキストを送ってきたんや。
「こんな問題を与えてみたんだ」って言うて、今まで見た中で最も専門用語だらけのプロンプトやったんや。流体のシミュレーションに関する全ての公理や数学的アプローチが含まれてたんや。
そしたら、「最初はほぼ正解だったよ。ちょっと修正したら2回目で完全に正解した」って言うてきたんや。「優秀な大学院生くらいのレベルだね」って。
他の多くの人も似たようなことを言うてるんや。Redditでは誰かが「1時間で私の博士論文全体をやってくれた。私は1年かかったのに」って投稿してたな。
もちろん、これは既に解決方法を知ってる問題をガイドしてたんやけどな。
多くの人が、科学的な観点からみると、o1プレビューは優秀な大学院生くらい役に立つってところに落ち着いてるんや。
これは少し主観的で、あいまいな定義かもしれへんけど、「私の頭の中では、これは優秀な大学院生と同じくらいの価値や有用性がある」って感じやな。でも、24時間365日働くし、安いかどうかは分からへんけど。大学院生はよく大学にお金を払ってるから、大学にお金を払ってる大学院生よりはずっと高いかもしれへんな。でも、その価格は下がっていくやろう。
さらに、o1プレビューに対する開発者の反応を見ると、まだそんなに良くないって言う人もいるし、ユーザーエラーの場合もあると思うんや。悪いプロンプトを与えて「ほら、全然役に立たへん」って言うような、無意識のバイアスがあるかもしれへん。
でも、「1週間悩んでたこのAPIの問題を30秒で解決してくれた」って完全に驚いてる人もたくさん見てきたんや。
だから、私が思うに...あ、もう一つ言い忘れてたな。「実際には知的じゃない」「実際には考えてへん」っていう、本物のスコットランド人はいないっていう論理的誤りみたいなのもあるんや。でも、出力は測定可能で、出力が測定可能なほど有用で正確やってことやな。
だから、私はベンチマークでどう機能するか、IQテストでどう機能するかみたいな、測定可能なことに注目する傾向があるんや。でも、それだけじゃなくて、科学コミュニティへの実際の影響、ビジネスへの実際の影響、それが本当に人々が気にすることやと思うんや。政策の観点からも、経済の観点からもな。
これは長々と言うたけど、AGIが何を意味するかについては、みんなそれぞれ意見を持ってるんやけど、結局のところ、ドルとセントの問題になると思うんや。
IQの正規分布を見たんやけど、全てのAIモデルを並べてたんや。オンラインで公開されてへんIQテストやったから、本当に推論を測ってるんやろうって仮定できるんやけど、120くらいやったと思うんや。それがあなたの理解してる水準なんかな?
司会者: はい、平均的な大学卒業生のIQが120くらいだと考えると、それは納得できますね。優秀な大学院生レベルってことなら。
でも、ここでもう一つ注意せなあかんのは、これらの機械を擬人化することが危険になる可能性があるってことやな。例えば、訓練されてへんか、見たことのない主題やトピック、特定の認知アプローチがあるとしたら、そこでは完全に失敗するケースがまだ見られるんや。
o1プレビューでやったテストの一つは、未来の異なる技術の相互作用について推測させることやったんや。4つの技術カテゴリーと4つの影響評価領域を与えたんやけど、ただ1対1で対応させただけやったんや。4x4で16の小さな評価を出しただけで、私は「怠慢やな、本当に価値を付け加えてへんやん」って言うて侮辱したんや。
そしたら、「この愚かな人間のためにコミュニケーションを明確にしましょう」って言い返してきたんや。「新しいものを合成してへんやん」って言うたら、「あぁ、分かりました。新しいものを合成してほしいんですね」って言うたんやけど、それでも完全にタスクを失敗したんや。
同じ元のプロンプトをClaudeに与えたら、Claudeは「これは面白い実験ですね。これらのことがどのように社会を変えるか考えてみましょう」って反応したんや。
だから、訓練方法が違うし、微調整の仕方も違うから、これらの機械からまだまだ全然違う動作が出てくるんや。
長い話になったけど、要するに、o1プレビューは技術的影響の予測に関しては、今でもClaudeよりずっと低いスコアやねん。でも同時に、他の多くの面で経済的に有用なんや。
司会者: そうですね。AGIという用語についてもう一つ思うのは、時々、具現化の問題、これは本当はロボット工学の問題ですよね、あるいはエージェンシーの問題、これは関連はしますが、必ずしも実際の知能の問題ではないと思うんですが、そういった袋小路に導くことがあるんじゃないかと思います。
私にとって、AGIは常に一般化された知能の一種の記述だったんです。特に、ますます専門化したモデルが登場してきて、一つの特定のことに本当に優れているのを見ると、この用語自体が時代遅れになってきてるんじゃないかと思うんです。
例えば、いつか海洋学モデルができるかもしれません。マルチモーダルじゃなくて、他の無関係なものは全部取り除いて、ただたくさんの海洋データを持ってるだけで、それがその分野で人間よりずっと優れるようになるかもしれません。
そうなると、ほとんどのモデルが少なくとも人間と同じくらい賢くなりますが、それはほとんど重要じゃなくなるかもしれません。その点についてどう思いますか?
デイビッド: そうやな、実際に推測する必要はないんや。業界がどこに向かってるか見ることができるからな。いくつか例を挙げるわ。
Google DeepMindはAlpha Foldに取り組んでるんや。Alpha Foldって知らない人のために説明すると、タンパク質の折りたたみをするAIモデルなんや。それだけのことをするんや。
Folding@homeっていうオープンな分散コンピューティングプロジェクトがあって、タンパク質の折りたたみに関する大規模なオープンソース研究に参加できるんや。ラップトップやデスクトップ、サーバーの余ったコンピューティング能力を使って、タンパク質がどう折りたたまれるか、どう誤って折りたたまれるかの小さなシミュレーションを実行するんや。
これが重要な理由は、タンパク質の折りたたみ方が、どれだけ良く機能するかを決めるからなんや。機能不全だと問題が起こるし、タンパク質同士がどうフィットするかも決めるんや。基本的に、これが全ての生命、全ての生物学の基礎で、全ての医学や病気のモデルにも関わってくるんや。
そこにDeep MindがAlpha Foldを持ってきたんや。これで何十万ものタンパク質のライブラリーを作ることができたんや。タンパク質の折りたたみ方について、最先端の精度を達成できたんや。しかも、古い方法よりずっと速く、ずっと安くできるようになったんや。
それに加えて、最新のモデルであるAlpha Proteoは、基本的に「XYZの受容体に結合するタンパク質が必要です。そのタンパク質を設計してください」ってできるんや。これは今までほとんど不可能だったことやな。この一つの技術が、合成生物学で可能なことを一変させたんや。
これは非常に特化したモデルやな。「一般的な知能ならそんな能力を持つべきや」って言うかもしれんけど、人間でもそんな能力持ってへんのや。高性能な計算やシミュレーション、この場合は高度な人工知能モデルを使わんとできへんのや。
もう一つの見方をすると、NVIDIAのJim Fan、元々OpenAIにいたかは分からんけど、Ilya SutskeverとAndrej Karpathyに指導を受けた人やねんけど、今はロボット用の基盤モデルに取り組んでるんや。
数日前にSequoia Capitalのポッドキャストに出てて、汎用人型ロボットまであと2〜3年くらいやって言うてたな。ハードウェア層がそうで、汎用AIやロボットの基盤モデルもあと2〜3年くらいやって。つまり、どんなロボットにでも入れられるドロイドの脳みたいなもんや。四足歩行でも二足歩行でもええし、世界をナビゲートしたり、複雑な器用さが必要なタスクをこなしたりできるんや。
例えば、家を建てるのに必要な全てのことを想像してみてな。いろんな道具を使わなあかんし、重い材料を動かしたり、配管や配線を入れるのに細かい動きも必要やろ。これはAGIに隣接するっていうか、並行して進んでいくもんやと思うわ。
私はAGIを「瓶の中の天才」みたいなもんやと特徴づけてるんやけど、IQが150や250のモデルがあったとしても、まだ周辺機器が必要やねん。ロボットに何を作るか指示せなあかんけど、あなたの指摘通り、そして私も同意するけど、AIができる最も有用なことの中には、具現化が必要ないものもたくさんあるんや。
コーディングには体は必要ないし、高度な化学や物理学、高度な数学にも体は必要ない。我々がやる最も難しく知的なタスクの多くにとって、体はむしろ邪魔になるんやな。
物理的な世界をナビゲートするのは、あなたや私にはできるし、犬にもできる。猿やタコにもできる。進化がこの問題を基本的に10億年前に解決してしもたんや。
人間の知的活動はここから始まったんやけど、これは比較的新しい発明なんや。今、我々は自分たちの認知能力を機械で拡張してるだけなんや。これが私が構築してるものと、なぜそれを構築してるのかを理解するモデルやな。
司会者: 人間としての我々は、エネルギー効率の面で信じられないほど最適化されてますよね。世界をナビゲートするのは...それを再現するのが、我々が最も難しいと思ってた思考よりも難しかったのは驚きです。実際、地球上のすべての動物が持ってるのは、そんなに少ないエネルギーで世界を操作する能力なんですよね。それが難しくなってきたんです。
さて、AGIに関連して、Xで投稿してるの見たんですが、ドゥームから離れてきてるみたいですね。私も同じ感覚です。一般的に、資本主義と競争、そしてオープンソースが、我々全員を破壊しようとする一つの全能のAIを避けてくれると思ってます。多様性によって自分たちを守れると思うんです。
でも、文化的なミームとしてのPドゥームについて、今どう考えてますか? まだPドゥームの確率みたいなのを持ってますか?
デイビッド: そやな、ここには幾つか解きほぐすべき方向性があるな。
まず一つ目は、AIの安全性と規制が今どういう方向に向かってるかってことやな。AIの安全性って言うとき、Twitterのミームアカウントのことやなくて、実際の安全性研究者のことを言うてるんやで。
一つの傾向として出てきてるのは、AIの安全性と規制を複雑適応系として見ることやな。複雑適応系の中で一番みんなが馴染みあるのは、おそらく株式市場やろうな。
株式市場には多くの参加者がおるやろ。企業、銀行、規制当局、個人投資家、それに実際に株を売ってる企業がおる。こういう異なる当事者や利害関係者が全員、ボールをコントロールしようとしてる。つまり、株価は何なのか、株価は上がってるのか下がってるのかってな。
多くの異なる主体やエージェントがこの競争的な環境にいて、不完全で不完全な情報を持ってる。これはゲーム理論の用語で、基本的に全員が株価がどうあるべきかを一生懸命理解しようとしてるってことや。
企業は四半期報告書みたいな特定の情報を開示せなあかんし、もちろんニュースサイクルもあって、人々が推測したりする。個人投資家もおるし、もちろんゲームストップのミーム株みたいなのもあったな。
これは複雑適応系の創発的な行動の非常に良い例やな。基本的に、Redditの人らやTwitterの人ら、他の個人投資家らが「おっ、機関投資家がこの株を空売りしようとしてるな。戦おうぜ」って気づいたんや。
ゲームストップの株価は、会社のファンダメンタルズとは全く関係なかったんや。実店舗のビデオゲーム販売とも全く関係なかった。全てがオンラインでの物語や創発的な行動に関係してたんや。
そこで、人工知能を同じように見ると、「よし、ここにはどんな利害関係者がおるんやろう」って考えるわけや。AIを作る研究所以外にも、ちょっと違う利害関係者がおるからな。
私個人的には、5つの主要な利害関係者を特定してるんや。
まず一つ目は自由市場や。これはあなたと私が話してることや。Twitterで話してることや。あなたと私がどこにお金を使うか、どの購読を続けてどの購読をキャンセルするかってことやな。
二つ目の利害関係者は企業や。OpenAIやMicrosoft、GoogleがAIを売りたがってる企業や。彼らには独自の要件や独自のフィードバックループがある。
三つ目は軍隊や。OpenAIやGoogleが軍隊にAGIを売りたいなら、軍隊には独自の採用基準や説明可能性に対する厳しい要件があるからな。
四つ目は政府や。これには二つの側面がある。一つは政府の採用や。例えば、OpenAIが仮想のIRS(アメリカ国税庁)エージェント、つまり仮想の税務処理者を作ったとしたら、IRSにそれを採用してもらうには、また非常に厳しいベンダー要件があるやろうな。
もう一つの側面は規制や。だから政府からは二段構えで来るわけや。
最後の利害関係者は科学コミュニティや。これは全ての研究大学や非営利の研究所なんかやな。
あなたの指摘通り、みんなこれに目を向けてるんや。みんなが株価をコントロールしようとしてるのと同じように、この場合は人工知能に関する世論をコントロールしようとしてる。良いのか悪いのか、危険なのか安全なのか、みたいなことをな。
異なる利害と動機を持つ様々な当事者が、これが何なのかについて議論してる。めちゃくちゃ混沌としてるけど、これも全部プロセスの一部なんや。
インドの民主主義の歴史について読んでたときに、インドはめちゃくちゃ騒々しい混沌とした民主主義を持ってるんやけど、アメリカにしか及ばへんと思う。我々が一番騒々しい民主主義を持ってるからな。
人々が言うには、騒々しい民主主義は実は健全な民主主義の兆候やって。政府に反対する発言が許されへん時、皇帝に服がないって言えへん時、それは非常に不健全な国家の兆候やからな。
同じように、AIの会話がこんなに白熱してるってことは、みんなが気にかけてて、最適な政策を見つけようとしてるってことやねん。
これが今の会話の状況と、なぜこんな形になってるかの前半やな。
私個人的には、全ての研究をして現状に追いついた後、そうやな...Pドゥームの議論を一度きりで打ち負かすとは言わへんけど、人工知能に関する信念を実際に科学的にアプローチしようとしてるんや。誰がどんな信念を持ってて、なぜそう思ってるのかをな。
もっと心理学的な視点、信念ベースの視点から見て、「よし、開発者はなぜ恐れてるんやろう」「CEOはなぜ恐れてるんやろう」「研究者はなぜ恐れてるんやろう」みたいなことを理解しようとしてるんや。
なぜかって言うと、気づいたのは、意図的とは言わへんけど、理解にたくさんのギャップがあるってことやねん。
だから本当にやりたいのは、これはまだ初期段階の研究プロジェクトやけど、繰り返し可能な調査手段を作ることやねん。これで「ここは人々の意見が分かれてるところや」「ここは人々が同意してるところや」「ここは研究やらデータにギャップがあるところや」みたいなヒートマップを特定できるようにしたいんや。そうすれば、それら全てを修正できるからな。
基本的に、私が取り組んでるのは専門的なPドゥーム、実際に科学的なアプローチでPドゥームを計算することやねん。Pドゥームって言うか、存在リスクやな。存在リスクは必ずしも全ての学術分野で真剣に受け止められてへんからな。
でも同時に、今のところ、これらのリスクが本当に何なのかを、広い人口レベルの調査で繰り返し可能な方法で評価する良い方法がないんや。
また長々と答えてしもたけど、Pドゥームは一時期脚光を浴びたけど、少なくとも私がおる学術サークルでは、今ではかなりばかげたことと考えられてるんや。
司会者: そうですね。非常に知能指数の高い人々、本当にそれを信じてる人々がたくさんいますよね。知的で創造的な人の特徴として、非常に説得力のある物語を作り出す能力があるんです。
自分たちが非常に頭がいいことは認めつつも、人間の自然なバイアス、例えばネガティビティバイアスに対する自分の感受性を過小評価しがちなんですよね。「他の馬鹿どもはネガティビティバイアスに影響されるかもしれないけど、俺は賢すぎてそんなことはない。俺は世界をありのままに見てるんだ」みたいな。
でも結局のところ、我々は人間なんです。我々は皆、こういったことに影響されやすいんですよ。
デイビッド: その通りや。これに関連する認知の失敗の一つに、利用可能性ヒューリスティックってのがあるんや。
利用可能性ヒューリスティックっていうのは、何かが最近頭にあったら、それに傾向を持つってことなんや。例えば、ターミネーター2を見直したばっかりやったとするやろ。「ジャッジメント・デイ」をな。
それが最近頭にあるから、脳が「これを今見たばっかりや」って言うんや。映画は人類の進化の観点から見ると比較的新しい発明やから、脳には事実とフィクションを区別する能力はあるんやけど、同時に「これを今見たばっかりやから、より顕著に感じるし、より可能性が高く感じる」みたいになるんや。
もう一つの要素は、鮮明に想像したり伝達できるものは、物事の進み方に対するバイアスを持ちやすいってことやな。
そうやな、特に才能のある人が時々一番騙されやすいってことについては、たくさんの本や研究がされてるな。我々は自分を説得して何かを信じ込むのが得意やからな。
実は、これが私が書いた最初のAI安全性の本の前提やったんや。「よし、議論のために、制御不能なスーパーインテリジェンスが来るって受け入れよう。じゃあ、制御を失っても安全なままの機械をどう作るんや」ってな。
今はもうそれが価値のある方向性やとは思ってへんけどな。面白いプロジェクトやとは思うけど、さっき言うたように、AIを作る研究所と、規制当局、軍隊、企業の間の全てのフィードバックループを考えると、自分で目標を作り出すようなエージェントを誰も買わへんと思うんや。
軍隊は勝手に暴発する武器は好まへんし、企業は特にリスク回避的やからな。データを誤って消去したり、ロックアウトしたりする可能性のあるものは望まへんのや。
だから、これらの多くのリソースをコントロールする利害関係者、つまり政府、企業、軍隊が、OpenAIやMicrosoft、GoogleのAGIを採用するためには、説明可能で、安全で、証明可能である必要があるんや。だから、もうそんなに心配してへんねん。
司会者: それは良いニュースですね。じゃあ、あと数年でユートピアが待ってるってことですね。指を crossed して待ちましょう。
さて、これはポストレーバー経済への良い導入になりますね。ご存知の通り、私はあなたのYouTubeチャンネルの大ファンで、だからこそ1年前に最初にあなたに連絡したんです。
ポストレーバー経済について、かなりの量のコンテンツを作ってきましたよね。ポストレーバー経済に関するあなたの考えを簡単に紹介してもらえますか? そして、最近何か考えを修正したことはありますか?
デイビッド: わかった、基本的には4つの基準があるんや。そして、ポストレーバー経済の定義はすぐに説明するけど、まず4つの基準は「より良く」「より速く」「より安く」「より安全」やねん。
過去にも創造的破壊や仕事の移動はあったんや。今、農業に従事してる人はどれくらいおると思う? 大半の農業は機械によって行われてる。人間が運転してるけどな。電話交換手も恐竜と同じ道を辿った。今は全部機械が処理してる。
過去にも、人間がやってた仕事の全カテゴリーがなくなることはあったんや。馬の世話をする人とか、自動車が出る前は早く移動したかったら馬が必要やったからな。馬に関連する産業全体が完全になくなってしもたんや。
過去200年ほどの間に、我々は3つの主要な経済パラダイムを経験してきた。最初は農業経済、次に工業経済、そして今はサービス経済やな。
数十年の間に生活様式が劇的に変化するという歴史的な前例はあるんや。農業革命までは、ほとんどの人が農民か遊牧民、狩猟採集民やった。もちろん、一番古いのは狩猟採集民と遊牧民やな。
それから、地理的な位置にもよるけど、6000年から10000年くらいの間、人々は農民やった。そして農業革命があって、それに続いて産業革命が起こって、それからナレッジワークとサービス業が出てきたんや。
ポストレーバー経済について、私が考えをまとめたのは次のようなことや。機械が人間よりも「より良く」「より速く」「より安く」「より安全」になると、その仕事が移動したり破壊されたりするのは経済的に避けられないだけでなく、道徳的にも法的にも人間を置き換えることが説得力を持つようになるんや。
例えば、外科医ロボットがあるとしよう。5年から10年後に作られるとして、人間の外科医より100倍安いだけでなく、10倍安全やとする。つまり、良い結果の数と悪い結果の数の比率がな。
命に関わる手術が必要やったとして、どっちを選ぶ? 人間は選ばへんやろ。ロボットが10倍安全で100倍安いなら、30分で終わる外来処置で、99.99%の確率で良い結果が得られるほうを選ぶよな。
それに、24時間働けるんや。メンテナンスや充電が必要になるまでな。でも、人間の外科医より交代させるのははるかに簡単や。全部大量生産されてて、同じソフトウェアが動いてるからな。ロボ外科医8号とロボ外科医9号、どっちでもええやん。基本的に同じやからな。
そうなると、人間の専門知識は、これらの代替可能なロボットによって完全に置き換えられてしまうんや。
これが物事の進む方向やと受け入れるなら、今行われてる経済活動の大部分は、最終的に「瓶の中の天才」、つまり24時間365日コードを書いたり理論化学や理論物理をしたりするAIと、ロボットの組み合わせに置き換えられることになるんや。
だから、ポストレーバー経済の最も簡単な定義は、経済成長と生産性の主な制約としての人間の労働を取り除くことが、避けられないし必要になるってことやな。
ここには解きほごす要素がたくさんあるけど、基本的にGDP成長を見る一つの方法は、人間の労働力の利用可能性が大きな制約になってるってことや。唯一の制約じゃないけどな。
これには、非熟練労働、熟練労働、そしてナレッジワーク、例えば地球上に800万人くらいの博士がいるとして、その数が制約になってるってことやな。
優秀な科学者が足りない、優秀な数学者やプログラマーが足りないってな具合やな。もしこれを制約として取り除いたら、つまり経済的制約として取り除いたら、他の多くのことが下流で変わってくるんや。
つまり、もはや「地球上にはこれだけの数のがん研究者しかいない」って制限はなくなるんや。機能的に無制限のがん研究者がいるとしたらどうなる? 同じように、機能的に無制限のNASAエンジニアや核融合エンジニア、量子コンピューティングエンジニアがいるとしたらどうなる?
これがポストレーバー経済の方向性なんや。つまり、人間がループに入る必要がない、少なくともボトルネックや主要な制約にならなくなるってことやな。
とは言え、他の経済的制約はまだたくさん残るやろうな。例えば原材料の利用可能性とか。鉄は非常に重いし、採掘や精製にはエネルギーが大量に必要やからな。その場合、人間の労働力じゃなくてエントロピーが主な制約になるんや。
でも同時に、サービスベースの経済では、GDPの大部分は人間の認知的努力から来てるんや。だから知識ベース経済やサービスベース経済って呼ばれるんやな。
例えば、ゲームを作ることを考えてみて。ビデオゲームを作るのに必要な原材料の投入とエネルギーの投入は非常に少ないんや。一番の制約はゲーム開発者やねん。
これが、ポストレーバー経済についての5分間のスピーチや。
司会者: なるほど。今、インターネット上の多くの賢い人たちから聞こえてくる物語は、根本的な制約はエネルギーになるだろうってことですよね。GDP成長や経済全体が、最終的には我々がどれだけのエネルギーを生産できるかに密接に結びつくようになる。だからこそサム・アルトマンは原子力発電所を建設したがってるわけです。
あなたもその考えに賛成ですか?
デイビッド: そうやな、AIの観点から見ると、データセンターに何が必要かって考えるんや。エネルギー、データ、チップやな。これが3つの主な制約やな。
だから、エネルギーだけじゃないと思うんや。世界中にあるチップ製造工場の数、十分な速さでチップを生産できる能力、それも一つの制約やな。
データの量も制約になる。だからこそ、o1プレビューについて話したときに、もしOpenAIが本当にデータの壁問題を解決して、機能的に無制限の高品質データを持ってるとしたら、それは問題にならないかもしれへん。でも、そのデータを合成するのにどれだけのエネルギーがかかったかは問題になるかもしれへんな。
そしてもちろん、エネルギー自体も主要な要素やな。ブロックチェーンが既にどれだけのエネルギーを消費してるか見てみると、エネルギー生成の20%くらいがブロックチェーンだけで使われてるんやで。
他の人とも話したけど、20年後か30年後には、エネルギー消費の大部分がAIとブロックチェーンになると予想してるんや。20%が産業用で、1%が電力や冷暖房とかやとして、残りの80%がAIとブロックチェーンで、そのほとんどがAIになるんやないかな。
これは、カルダシェフI型文明に向かう過程やと思うんやけどな。
でも、そうやな、エネルギーが制約になるってことには同意するわ。ただ、言っておきたいのは、必要は発明の母やってことや。次のボトルネックが何であれ、これは制約理論って言うんかな、何かをしようとするとき、必ずボトルネックがある、必ず制限要因があるんや。
エネルギーが制約になって、その問題を解決したら、次の制約は世界中のチップ工場の数かもしれへん。データの量かもしれへん。他の何かかもしれへん。
要は、一つずつボトルネックを克服していくってことやな。そうすることで、多くのプラスの波及効果が出ると思うんや。
例えば、エネルギー需要が高まれば、核融合や核分裂、太陽光、再生可能エネルギーなどへの投資がより経済的に実行可能になるんや。
もちろん、これは推測やけど、理想的にはこれが気候変動問題の解決にも役立つんやないかな。エネルギーが豊富にあれば、大気をきれいにしたり、炭素を安く隔離したりできるようになるからな。エネルギーが豊富にあれば、他にもいろんなことができるんや。
こういった技術が面白い形で再結合して、予期せぬ、少なくとも予見されてなかった利益をもたらすことがよくあるんや。技術的スピルオーバーって呼ばれるもんやな。
司会者: そうですね。私は今、気候変動についてまったく心配してません。なんとなく解決に向かってると思えるんです。中国がどれだけ太陽光発電を生産してるか見てみると、それだけでなく、あなたが言及したように、我々がどれだけのエネルギーを必要とするようになるか、そして世界の最高の頭脳がこの問題の解決に集中してることを考えると、最終的には化石燃料だけでできるよりもはるかに多くのエネルギーを生成できるようになると思うんです。
結局、化石燃料の使用を減らせるようになると思います。他のところからもっとたくさんのエネルギーが来るようになるからです。
今、減速するのが最悪のことかもしれません。加速して突き進むのが一番賢明なアプローチだと思います。
デイビッド: そうやな、私は加速が最適な戦略やと主張してきたんや。まず加速を定義しておくと、私にとって加速とは、AIに関する研究の量を1日あたり最大化することやねん。その KPI を最適化することやな。これには安全性の研究も含まれてるで、フロンティアモデルの能力を向上させるだけやないんや。
これが最適な戦略やと言う理由の一つは、地政学的な観点からやな。アメリカと西側同盟国に、基本的に未来の経済をコントロールしてほしいんや。
中国が追いつくことが世界の終わりってわけやないで、どっちみち研究はオープンソースやしな。でも、アメリカとヨーロッパがリードしてれば、世界はもっと優しい場所になると思うんや。もちろん、これには議論の余地があるやろうけどな。
とにかく、地政学的な観点から、政策的な観点から、アメリカとヨーロッパ、イギリスが研究を最適化するのは理にかなってるんや。地政学的な理由、経済的な理由、軍事的な理由なんかからな。
でも、それだけやない。気候変動を乗り越えるための最適な政策は何かって観点からもそうなんや。私は気候変動についてはかなり楽観的やけど、データを見ると、化石燃料消費の割合は実際にはまだ加速してるんやで。
一部の国は逆転してるけど、世界全体で見ると、化石燃料消費はまだ加速してるんや。アメリカが今や世界最大の石油生産国になったって図もあるしな。
ある面では正しい方向に進んでるけど、ちょっと下がって地球全体を見る必要があるんや。化石燃料の使用総量はどれくらいか、太陽光エネルギーの総量はどれくらいかってな。
他の人も指摘してるけど、例えばドイツやフランス、イギリスが2030年か2035年までにカーボンニュートラルかカーボンネガティブになったとしても、それは可能性の範囲内やと思うけど、世界の残りの部分がそうならなかったら、あんまり意味がないんやな。
ただし、これには但し書きをつけておくわ。可能だってことを証明するのは、正しい方向への一歩やけどな。でも、市場の外部性の問題はまだあるんや。例えば、化石燃料をたくさん消費する国で作られた製品を消費してるなら、それもあなたのカーボンフットプリントの一部やからな。
だから、まだ解決すべき問題はあるけど、問題は全て対処可能やと思うわ。産業規模の問題であり、政治的意志の問題なんや。そして政治的意志はあると信じてるし、太陽光発電はもう自力で売れ始めてる。太陽光発電のコストは劇的に下がったからな。
まあ、これは私の専門分野やないけど、会話や見てきた研究に基づいて、私の考えを共有させてもらったわ。
司会者: そうですね。私もエネルギーと特に原子力について、エピソードを作ったことがあります。実際の科学ではなく、非論理的な信念によってどれだけ制約されてるかについてですね。
ドイツは、ほとんど完全に原子力を廃止しましたが、本当の理由はないんです。福島の後の恐怖の波に乗っただけで。でも実際には、原子力は信じられないほど安全なんです。他のほとんどどの発電方法と比べても、多分太陽光以外は、非常に安全です。人々があまりにも心配しすぎるからです。
原子力廃棄物も、全てを溶かしてしまうような緑色のドロドロしたものじゃありません。実際、ほとんどの原子力廃棄物は、正しく保管されていれば、すぐ隣に立っても全く害はありません。ただそこにあるだけでいいんです。
ちょっと話がそれましたが、論理を追っていけば、最終的には原子力を大幅に拡大して、本質的に問題を解決する場所に到達すると思います。特に小型モジュール炉は今、非常に実現可能に見えます。
イギリスには、もう失われてしまった造船能力がたくさんあります。帝国がなくなったから今はないんですが、これらの造船所を小型モジュール炉を建設する場所に変えることができます。まあ、話がそれましたが。
さて、ポストレーバー経済についてですが、以前、セクターごとの内訳を見て、何が最初に消えて、何が後で消えるか、大きな制約は何かについて分析してましたよね。最近、それについて大きな再評価をしましたか?
最初にこのコンテンツを作ったのは少し前、たぶん1年か、それ以上前だと思います。例えばロボット工学の発展で、何か理論を大きく変更したことはありますか?
デイビッド: そうやな、完全な再評価や再調整はしてへんけど、確かに何を見るべきかについての理解は進化してきたな。
起こると予想されることがいくつかあって、その一部はもう見え始めてるんや。例えば、一番先に恐竜の道を辿った仕事の一つはコールセンターやな。多くの企業が、コールセンターの大部分をAIチャットボットや音声ベースのAIチャットボットで置き換えてしもたんや。
これは私にとって、タイピストプールや電話交換手が恐竜の道を辿ったのと同じような感じやな。これが一番低く垂れ下がった果実やったんやろうな。
他の種類の仕事を置き換えるには、まだまだ多くの課題があるんや。一つは統合のレベルやな。
ソフトウェア開発者を例に取ってみよう。これはソフトウェア開発者が当分の間安全である理由でもあるんやけど、ソフトウェア開発者になるってのは、単にコードを書くことだけやないんや。そのコードをどこに置くか、全ての統合、ソフトウェアを正しくデプロイするのに必要な無数のシステムについて知る必要があるんや。これはめちゃくちゃ複雑なタスクで、機械はまだ完全なエンドツーエンドのレベルには達してへんのや。
とは言え、ローコードノーコードの話はたくさんあるし、自動化パイプラインなんかもあるな。
もう一つの懸念は、法的な保護やな。例えば、医者や弁護士になるには人間でなきゃあかんし、ライセンスが必要やねん。電気技師や配管工になるにもライセンスが必要や。橋の検査官になるにもライセンスが必要やな。
これらの枠組みの多くは、機械がその仕事をすることを想定してへんのや。機械にその仕事をさせる余地がないんや。
でも、経済的な圧力が高まるにつれて、一部の都市や州、政府が先駆者になって、「人間の代わりにドローンに橋の検査をさせることはできないか」って言い出すんやないかと思うんや。
既に電力会社はドローンを使って自社の送電線を検査してるしな。なぜかって? それの方が速くて安いからや。
送電線の検査員が人間でなきゃいけないとか、ライセンスが必要だとかいう法的な要件はないと思うんや。ただ、自社の送電線を検査する必要があるってだけやからな。
この点では、たくさんの規制の枠組みや前例があるんや。企業にやり方を細かく指示するんやなくて、「これをする必要がある」「橋を検査する必要がある」「送電線を検査する必要がある」って言うだけやな。
公務員の場合は違うんや。橋は地方自治体や州際高速道路システムが所有してるからな。政府はこういう変化に適応するのがいつも遅いんや。
規制の摩擦や法的要件が、多くの採用やトレンドを本当に遅らせるんやけど、既に見えてるのは、組合の保護がなかったり、法的保護がなかったりすると、仕事は本当に速く消えてしまうってことやな。
コピーライターは注意されてるし、デジタルアーティストなんかのコンテンツクリエイターの多くは仕事が大幅に減ってる。あらゆる種類のフリーランサーの仕事が大幅に減ってるんや。
だから、何が脆弱で何がそうでないかについて、実際にいくつかのデータが出てきてるんや。
あなたの質問のもう一つの部分に答えると、今のところ一番大きな未知数はロボット工学やと思うんや。私には、ほとんどの知的タスクで人間レベルのパフォーマンスを超えるのは、今後2〜3年以内、遅くとも2025年までには確実にできると思えるんや。
でも、それはAPIを通じてアクセスできるものに限られるんや。APIってのはアプリケーションプログラミングインターフェースのことで、一つのコンピュータープログラムが別のコンピューターに「これをやってくれ」って呼びかけるもんや。
ロボットはちょっと遅れてるんやけど、気づいたのは、機械が逆向きに進化してるってことなんや。
最初のコンピューターは単に計算をしてくれただけやった。それから言語を扱い始めて、今は物理的な世界と関わり始めてる。でも、これは人間の進化とほぼ正反対なんや。
人間は、数学やプログラミングよりずっと前から言語を持ってたんや。でも、人間が存在する前から、さっき話したように、物理的な世界をナビゲートするのは本当に得意やったんや。
機械が作った機械の性質上、ロボットは最後になりそうやな。これは本当に面白いパターンやと思うんやけど、全てが逆順で起こるって普遍的な原則だとは言わへんで。
ある種の予想される現象があって、自動化の崖みたいなもんやな。最後の最後まで、人間がやる仕事はどんどん増えていくんやけど、人間ができる最後のタスク、それが計画立てたり、ガイドしたり、経営機能やったりするんかもしれへんけど、それがはっきりしてへんのやけど、機械がその最後のタスクを引き受けたら、突然人間がすることが何もなくなるんや。
これは、経済的には意味経済のドゥームスデイ・アルゴリズムに相当するようなもんやな。世界に認知的な価値を加えるんやなくて、観客に感情的な内容や哲学的な内容を加えるってな具合やな。
でも、これは潜在的な意味経済の一つの要素に過ぎへんし、これも全部仮説やからな。
農業から工業、サービス、そして意味への移行が起こると思うんや。これが今の私の考え方やな。
司会者: 実際、そんなに安心できる話じゃないですね。5年後か10年後に、まだ価値のある仕事は何だろうって常に考えてしまいます。
ロビン・ハンセンのインタビューを聞いたんですが、彼が言うには、最も自動化しにくい仕事、つまり最も自動化の程度が低い仕事は、カーペット敷きだそうです。または、最も人間らしい仕事は床材を敷くことだそうです。ロボットにはとても難しいらしいです。
まあ、それは興味深いですね。これは、最後に話したかったことへの良い導入になりますね。私たちにとって特別だと感じていたものがロボット化され、自動化された知能になる中で、人類の未来がどこにあるのかについて、あなたはたくさん考えてると思います。
このような状況で、あなたが今やってることを続けるモチベーションはどこから来てるんですか?
デイビッド: そうやな、私はそれについて多面的な理解をしてるんや。まず第一原理から言うと、我々は動物やねん。食べる必要があるし、寝る必要がある。社会的な猿やから、人と交流するのが好きやし、そういったことやな。
多くは本当に基本的なことに帰着するんや。おいしい食べ物を食べたり、良い人たちと過ごしたり、旅行したりすることで生化学的な報酬を得るんやな。
それら全てはまだお金を稼ぐことから恩恵を受けるんや。お金は、あなたが達成したいこと、見たいこと、やりたいことの普遍的なプレースホルダーみたいなもんやからな。
お金は安全のプレースホルダーであり、旅行のプレースホルダーでもある。非常に融通が利くんや。
これは、お金が私の主な動機やって言うてるんやないで。ただ、お金はまだまだ多くの用途があるってことを指摘してるだけやな。予見可能な将来にわたって、お金は有用性を持ち続けると思うんや。
物の価格は劇的に変わる可能性が高いけどな。過去100年で、人々が食べ物に使うお金は半分になったのと同じように、時にはそれ以上に減ってるしな。社会経済的な階層によっても違うけどな。
一部のものは基本的に無料になるやろうな。アートは今や基本的に無料や。Mid Journeyに月20ドル払えば、数年前なら文字通り数百ドルか数千ドルかかったはずのカスタムアートが無制限に手に入るんや。
これは続いていくと予想すべきやな。でも、私個人的には、たくさんの枠組みがあるんや。これは実際に私が教えてることでもあるんやけど、私のコミュニティ、New Era Pathfindersで教えてるんや。
そこで教えてる枠組みの一つが、ロジャー・ウォルシュの治療的ライフスタイル変化（TLC）っていうもんやねん。
TLCは基本的に8つの柱があって、これら8つのことをやれば、おそらくもっと幸せで健康になれるっていう考え方や。食事、運動、睡眠、家族との時間、社会貢献やコミュニティサービス、自然の中での時間なんかが含まれてるんや。ちょっと忘れてるのもあるけどな。
これらのことを全部やれば、おそらくもっと幸せで健康になれるんや。私はこの枠組みで長いこと生活してきたんや。
コミュニケーションスキルも教えてるんやけど、これはキャリアっていうものが、少なくとも今日我々が理解してるような形でのキャリアがあるかどうか分からん時代には、意味をどこから得るのかって話やねん。
我々は人間で、社会的な種族やから、客観的に言うて、ほとんどの意味を人間関係から得てるんや。これには自尊心や、コミュニティ内での社会的地位も含まれる。でも、単に人間関係の深さや質、内容も含まれるんや。
例えば、質の高い人間関係をより多く持ってる人は、長生きするし、より健康で、より幸せなんや。
これは全部、人間を動かすもの、人間を機能させるもの、朝起きて活動させるものについての第一原理的な見方なんや。
だから、これは本当に基本に立ち返るようなコースやね。魔法なんてないんや。
今、特に西洋、特にアメリカでは、ポストモダニズムやニヒリズムが浸透した文化に生きてるんやけど、ニヒリズムは基本的に「意味なんてものはないから、自分で作ればいい」って言うんやけど、これは我々の生物学や進化を完全に無視してるんや。
本に書いたから真実やって感じやけど、これは賢い人が完全にバカげた信念を信じ込んでしまう良い例やな。ニヒリズムはそういう完全にバカげた信念の一つで、15億年の進化や報酬信号の生化学、その他全てを完全に無視せなあかんのや。
だから私にとっては、この新しい世界で意味を見つけるのは実は驚くほど簡単なんや。
例えば、私と妻はたまにブランチに行くんやけど、本当に素敵なレストランに行くんや。そこで本当においしい食事をして、雰囲気も良くて、別に贅沢なわけやないけど、そのブランチに行く日曜日には大きな意味を与えてくれるんや。
私はよく森に行くんや。ハイキングが大好きで、川のそばで育ったんやけど、今も今まで見た中で最も美しい川の一つのそばに住んでるんや。週に3、4回そこに行くんやけど、私にとってはスピリチュアルな体験やし、運動にもなるし、自然の中での時間にもなるんや。
自然の中で過ごす時間は生物学的にも良いんやで。腸内細菌叢を改善するし、ストレスを下げるし、いろんな良いことがあるんや。
つまり、これに神秘はないんや。我々は種として、生きるべき方法から大きくズレてしまってるだけなんや。アラインメントの話に戻るけど、我々の生活様式は、進化してきた生き方からあまりにもかけ離れてしまってるんや。
「生きるべき方法」って言うたけど、これは進化してきた生き方っていう意味やな。都市は新しい発明で、必ずしも我々にとって良いもんやないんや。農業も比較的新しい発明で、これも必ずしも我々にとって良いもんやないんや。
ネイト・ヘイゲンさんやったと思うんやけど、「大いなる単純化」って呼んでる人もおるんや。我々は皆、本当に基本に立ち返るような生活様式に移行する機会を得ようとしてるんや。
人生で本当に気分が良くなることは何か、幸せで健康で充実した人生を送るために本当に必要なことは何かっていう第一原理的な見方をするんや。
私は、人工知能や量子コンピューティング、核融合、その他何が来るかは分からんけど、それらの組み合わせによって、我々全員がその機会を得られることを願ってるんや。
そんな感じやな。
司会者: はい、それは安心しますね。都市についてはよく分かります。気づいたんですが、ご存知の通り、私は今ロンドンからアメリカに来てるんですが、オースチンやアメリカ全般が非常に車に優しくて、歩行者にはとても不親切だということに気づきました。
これが多分、ヨーロッパの都市との最大の違いだと思います。ヨーロッパの都市は概して非常に歩きやすくて、歩行者専用区域がたくさんあって、道路を横断するための横断歩道もたくさんあります。一車線の道路が多いのに対して、こっちは全部6車線くらいあって、誰もが車で移動してるみたいで、横断する場所を見つけるのがとても難しいんです。
これは、さっきあなたが言った、都市が人間にとって特別良くないっていう話に戻るんですが、決して歩かないように促してるような感じがするんです。文字通り車に乗って、直線で2分も歩かないような距離の場所に行くように促してるんです。
例えば、直線距離で2分もかからないカフェがあるんですが、そこに行くには6車線の道路を渡らなきゃいけなくて、横断歩道がないんです。だから実際には、ここで車に乗って、道路を上がって、また下がって、カフェに入ったほうが簡単なんです。車のために設計されてるからです。
ちょっと話がそれましたが、あなたの言ってたことと一致しますね。都市は一般的に人間の幸福のために作られてないと思います。集積と成長のために最適化されてるんですよね。
デイビッド: そうやな、結局のところ、何を最適化しようとしてるかって話なんや。これは私と妻がよく話すことでもあるんやけどな。
アメリカの都市が車を中心に最適化されてる理由はいくつかあるんや。一つは戦後のブームやな。今日のような郊外を発明せなあかんかったんや。
大量のナレッジワーカーが集中してて、どこかに住む場所が必要で、郊外からダウンタウンのオフィスまで行けるようにせなあかんかったんや。
だから、ゾーニング法や住宅基準、全てを車を中心に組織したんや。車はアメリカの自由の象徴にもなったしな。
だから、経済的な最適化のための実用的な最適化やったんやけど、それが文化に埋め込まれてしもて、今や誰も車を手放したがらへんのや。
実際、歩行者に優しい都市について話すと、いつも数人のコメンターが「それは社会主義や」「それはマルクス主義や」「これはヤバイ」って言うてくるんや。「ヨーロッパに行ったことあるんか?」って聞きたくなるわ。歩行者に優しい都市は素晴らしいで。
パリを歩き回ったときのことを覚えてるけど、世界最大級の都市を歩いて横断できるのに驚いたんや。地下鉄もあるし、路面電車もあるし、バスもある。全く違うパラダイムやな。何を最適化しようとしてるかが違うんや。
それに関連して、アメリカでは看板やいろんな醜いものを立てられるんやけど、これを視覚公害って呼ぶらしいわ。最近知ったんやけど。
一方で、多くのヨーロッパの都市は視覚公害を抑え始めてるんや。地下鉄での広告が減ったり、建物のファサードがきれいになったりしてるんや。
結局のところ、何を最適化するかっていう問題なんや。それが文化的なパラダイムなのか、経済的なパラダイムなのか、そういったことやな。
私の希望、私の願いは、多くのアメリカの都市や町が、もし私が望むような形で移行が起これば、我々の優先順位が本当にどこにあるのか、何を最適化したいのか、良い生活のために最適化したいのか、経済的生産性のために最適化したいのか、それとも他の何かのために最適化したいのか、そういった非常に良い会話をすることになると思うんや。
そんなところやな。
司会者: はい、たくさんの良い話がありましたね。最後に、あなたの今後の予定について聞かせてください。何か楽しみにしてることはありますか? 人々が次の1年かそれ以上の期間であなたの作品に注目すべきことはありますか?
デイビッド: そうやな、既に触れたことの多くに取り組んでいくつもりやな。New Era Pathfindersっていう成長コミュニティのことを言うたけど、これはもう300人以上のメンバーがいて、まだ成長し続けてるんや。これに来年はかなりの時間を投資することになるやろうな。
妻と一緒に、執筆についての別のコミュニティも始める予定やねん。二人とも作家で、実際にそれで出会ったんやからな。
ちなみに、私のデビュー小説「Heavy Silver」が昨日出版されたばかりやで。今のところペーパーバックだけやけど、オーディオブックを作るのは高くつくから、いつかディールが決まって配信できるようになればいいなと思ってる。
他には何があるかな...クレムソン大学とAI調査について一緒に取り組んでるって言うたよな。基本的にAIリスクについてもっと科学的なアプローチを取ろうとしてるんや。
それくらいやな。結構忙しいんや。オープンソースのラズベリープロジェクトもあって、つい先日良い会議があったんや。データと計算力の支援を得ようとしてるところやな。
まあ、これが今後しばらくの間取り組んでいくことの概要やな。
司会者: 分かりました。今おっしゃったことへのリンクを全て番組の注釈に入れておきますね。
デイビッド、今日は出演してくれてありがとうございました。お話しできて本当に良かったです。また近いうちにお話しできると思います。
デイビッド: 呼んでくれてありがとう。よろしく頼むな。
司会者: はい、ありがとうございました。