デイビッド・シャピロ パート2:非整列の超知能は全く問題ない?

個人的に、ドゥーマー運動は「超知能とどのように共存するのか」「人間と機械の利益をどのように調和させて相利共生関係にするのか」という問いを自問していないと思います。安全性コミュニティにそのような議論がないことが、私が安全性コミュニティを去った理由です。
何を言っているのですか?私たちはそのような問いを常に投げかけています。Doom Debatesへようこそ。私はロン・シャピラです。
最近、デイビッド・シャピロの「AIを一時停止するのは悪い考えだ」という主張に反論する動画を作りました。私は「いや、それは我々が持つ最良のアイデアだ」と言いました。反応動画を公開した後、デイビッドは非常に寛大にも自身のYouTubeチャンネルで「ついに良い反論動画が出た」と言って私の動画へのリンクを貼ってくれました。非常に寛大ですね。普通、反論した相手からこのような反応をもらうことはありません。
その後、デイビッドはこのチャンネルにコメントを残し、この話題についていくつかの動画も作りました。議論に参加してくれるのは嬉しいことです。Doom Debatesの目標の1つは、単に議論を巻き起こすことです。両サイドの間の議論が大きく不足していると思います。普通は自分の陣営の人々とだけ話をしているので、彼のことを本当に尊敬しています。
デイビッドが私の動画のコメント欄に入って、誰かが彼に私との討論を求めているのを見て、「もちろん」と答えたのを見てうれしく驚きました。「おお、すごい」と思いました。そこで、討論の日程を決めるためにTwitterでDMを送ったところ、「数日以内にできるかも」と言われました。
しかし、それ以降状況が悪化したようです。ドゥーマーたちとの対話に興味がない、生産的かどうかわからないとツイートし始めたからです。その後、YouTubeで視聴者にアンケートを取り、「ドゥーマーたちと討論すべきか」と尋ねたところ、3分の2の人が「すべきだ」と答えました。それでも彼は私に辞退すると伝えてきました。討論したくないそうです。まあ、結局は彼次第ですね。
今日、Twitterをチェックしたら、彼の最新のツイートを見ていたのですが、ブロックされていました。私が何かしたからではないと思います。討論の話をしていた時からブロックされるまでの間、文字通り何もしていなかったからです。
ただし、Doom Debatesでは「彼の問題は何か」とか「そういう人たちはどうなんだ」といった質問に答えようとはしていません。ここでは単に議論を見て、私たちが破滅するかどうかを皆さんに判断してもらうことが目的です。個人攻撃をするつもりはありません。では、彼の最新の議論を見ていきましょう。
デイビッド:
みなさん、最近私は加速主義者側に立ち、ドゥーム/SL/デルSL/一時停止運動に反対する立場を表明しました。実際、ロン・シャピラさん(少なくとも私の知る限り関係ありません)から素晴らしい反応がありました。
まず、多くの人が私の立場を理解していないようなので説明したいと思います。それは、研究を始めた頃は今ほど有名ではなかったからです。『Benevolent by Design: 人類を守る6つの言葉』という本を書いたことを皆さんに思い出してもらいたいと思います。この議論を何年も真剣に検討してきました。
実際、私たちは多くの前提で一致しています。その1つの基本的な合意点は、超知能は基本的に制御不可能であり、制御しようとすることは扱いきれない問題だということです。それが実際にこの本の前提で、制御可能性の問題は解決不可能なので、解決しようとしても無駄だということです。
代わりに、価値観、インセンティブ構造、その他の形の調和に目を向ける必要があります。この問題を実際にどう解決するかについて、もっと動画を出す予定です。AIを制御可能にできるほどの洞察力や理論的理解がないのに、インセンティブ構造を使って制御できると考えるのは愚かな試みに思えます。正しい価値観を読み込む技術があれば、制御可能性なしでも制御できる可能性はあると思います。それは人間の価値観に従って宇宙を最適化するAIという聖杯かもしれません。
しかし、「インセンティブ構造」を使ってAIを良くすると言っているのを聞くと、すぐに懐疑的になります。
この反論動画への2つの主な批判は、1つは「社会的証明」への訴えが多いことです。これは権威への訴えと呼ばれる論理的誤謬で、「専門家がこう言っている」というだけで証拠がないようなものです。認識論的・存在論的根拠と呼んでいるのはそういう意味です。
ショゴスがこれらの機械から出現しているという証拠はありません。制御不可能だという証拠さえありません。そして今後も制御不可能だという証拠もありません。その根拠だけでも少し疑わしいです。超知能が根本的に制御不可能だとさえ確信が持てません。少なくとも、人々が想像するような、ある日突然目覚めてスカイネットのようになるということはないでしょう。
確かに、これが本を書いた前提です。「制御を失うだろう」というものです。私が使う類推は、「最高の犬はリーシュが要らない犬だ」というものです。もし新しい後継種や新しい超有機体を尊厳と敬意を持って作り出し、私たちの利益を共生的または相利的な方法で調和させれば、それが正しい方法だと思います。
リーシュのいらない犬は、価値観が調和したオプティマイザーのいい例えですね。そうですね、価値観が調和したオプティマイザー犬なら、好きなところを走り回ってもらって構いません。私たちが未来を導きたい究極の場所に走っていくでしょうから。そうです、それが聖杯ですね。それは一貫して外挿された意志です。定義上、それ以上のものはほとんどありません。ただ、私たちがそれを実現する軌道に乗っていない理由はたくさんあります。それを構築する前に解決すべき理論的問題がまだあります。代わりに、宇宙を崖から突き落とすか、宇宙をレンガ化するようなものを作ることになるでしょう。
この動画へのもう1つの主な批判は、ニルヴァーナの誤謬です。これは、完璧なもの以外のあらゆる解決策を完全な失敗とみなす誤謬です。この反論動画は繰り返し「そうですね、他のことも全部やるべきですが、一時停止しなければなりません。一時停止以外に人類を救う方法はありません」と言っています。一時停止だけが人類を救う方法ではありません。
私の立場を誤解しているようです。私が言っているのは、AIを一時停止しなければ私たちは破滅するということです。ニルヴァーナの誤謬について話すとき、通常は「完璧は善の敵である」と言います。ニルヴァーナの誤謬を犯す人々は「完璧なものを待つべきで、良いものを受け入れるべきではない」と言います。私の場合、AIを一時停止しなければ単に良いものになるとは言っていません。恐ろしいもの、これまでで最も恐ろしいものになると言っているのです。
私たちが宇宙をゴミ箱に投げ捨てないという合理的な希望を持つ唯一の方法は、手遅れになる前に宇宙を破壊しないAIを作る方法についての手がかりを得るまでAIを一時停止することだと私は言っています。AIを一時停止する代わりに、次善の代替案があって、それでもかなり良いと主張しているのなら、ニルヴァーナの誤謬を犯していると非難できるかもしれません。「無謀なAIを開発すれば5%の確率で私たちを殺すかもしれないが、0%の確率にすべきだ」というのが私の立場なら、ニルヴァーナの誤謬を犯していると言えるでしょう。「5%を受け入れて突き進むべきだ、バランスを適切に取っていない」と言えるでしょう。
しかし、それが私の主張ではありません。生き残る合理的なチャンスがある次善の代替案があるとは思っていません。無謀でない選択肢は1つしかないと思います。それは、国際条約によってフロンティア開発を一時停止することです。成熟した文明が取るべき唯一の方法だと思います。
私たちは自分たちを欺いているのだと思います。テクノロジーが通常進歩する馴染みのある方法によって、私たちはとても条件付けられています。「確実にこれを発展させなければならない、一時停止は狂気の極端な手段だ」と考えるように条件付けられています。それらの考えをすべて再構築することが重要だと思います。理性的な文明なら、これが別の核のようなシナリオであり、急速に近づいてきていること、そして私たちには種としてこの技術を開発する能力がないことを自己反省できるはずです。それは、私たちが直面しなければならない根本的な研究です。より成熟した種なら、これを明白なこととして扱うでしょう。そんなに難しい洞察ではありません。単にバイアスと戦うだけです。
もちろん、私の意見に同意しなくても構いません。しかし、私の立場をニルヴァーナの誤謬だと特徴づけないでください。それは客観的に正確な描写ではありません。それは公理的で信仰に基づく主張です。だからこそ、私はこれを予言、破滅の予言と呼び続けているのです。物理的証拠も科学的証拠もなしに、「私を信じてください。破滅が来る、破滅は避けられない、そして私だけに解決策がある」と言っているのです。それは非常に問題のある立場です。
デイビッドによると、何かが「予言」であるかどうかを判断する簡単な4ポイントテストがあります。

破滅を予言している
物理的証拠に基づいていない
信仰に基づいている
主張する人が自分だけに解決策があると言っている

もし私の理解が正しければ、デイビッドの言葉を意味のあるものとして扱うなら、これら4点すべてに該当するものが予言として認定されます。そして、予言であることは何を意味するのでしょうか?おそらく、それを無視して先に進めばいいということでしょう。おそらく、意思決定に使う必要はないということでしょう。
では、デイビッドの基準に照らして、私が破滅について言っていることが予言に該当するかどうか見てみましょう。

破滅を予言している - はい、破滅を予言しています。
物理的証拠に基づいていない - いいえ、それは間違いです。物理的証拠に基づいています。知能の概念について仮説を立てるとき、それがどのように説明力を持つかを説明します。より大きな領域でAIが人間やそれ自身の前世代よりも優れた性能を発揮するだろうという予測をします。AIがまだプレイしたことのないビデオゲームを言えば、おそらくすぐにそのゲームで人間より優れた性能を発揮するだろうと予測できます。なぜなら、AIの進歩が速いことを予測できるからです。

AIの進歩は単純化の一例です。それは宇宙の圧縮です。AIの進歩は一貫した概念だという理論です。同様に、人間よりも宇宙をよりよく最適化することは一貫した概念だという理論です。科学は、周囲の観察を簡潔に説明するモデルを構築し、そして同じモデルを使って将来の観察を予測するものです。なぜなら、モデルは一般に時間不変だからです。
他に何も知らなくても、現在にこれほどよく適合するモデルを持っているだけで、将来についての強い信念を持つ理由があるかもしれません。
ドゥームの場合、「汎用AIがある」といった現在を説明するのに非常に強力な概念を使用しているという事実があります。そして、そのような心的モデルから単純な推論を行います。例えば、「汎用AIがあるとき、その技能レベルの限界は何だろうか?人間の脳が行う計算量によって制限されるのだろうか?」「いいえ、人間の脳よりもはるかに速く計算できることを示す原理がたくさんあります。」「AIが実行しているアルゴリズムはどうでしょうか?人間が実行しているアルゴリズムよりもはるかに優れたアルゴリズムを実行して結論を導き出すことは可能でしょうか?」「はい、もちろんです。人間のアルゴリズムは単に生存と繁殖を助けるために最適化されただけで、類人猿とあまり差がありません。IQ170の人間とIQ80の人間の差はほとんどなく、ほんの少しの遺伝子改変や神経細胞の改変、脳の構造の改変だけで違いが生まれます。」
これらが、破滅という結論の証拠について話すときに私たちが経る種類の思考プロセスです。
次にデイビッドは、予言であるためには信仰に基づいていなければならないと言っています。これは信仰に基づいていないと簡単に言えます。一般に、何かを信じている人は「これを信じています」「これを信仰しています」と喜んで言い、何を見ても信じ続けると言います。一方、私は明確に、説得されうると言っています。以前に、破滅という結論から離れる証拠として見られるものについて言及したことがあります。
例えば、もし何らかの方法で人間よりも優れたオプティマイザーを構築し、それにビジネスの運営や大規模な建設プロジェクトの管理といったタスクを与えることができ、実際にそれをこなすことができるとしたら。すべての種類の予期せぬ障害に対処できるとしたら。あるいは、さらに良いのは宇宙ミッションです。なぜなら、それはすでに行われている他のプロジェクトの間の補間よりも少ないからです。
独立して建設プロジェクトを行うことができれば、それだけでもかなり印象的でしょう。なぜなら、それにはあらゆる種類の資源管理と問題解決が含まれるからです。とにかく、人間のCEOを上回る性能を持つAI CEOを雇うことができる世界に入ったとします。そしてその世界では、AIはまだフレンドリーで制御可能です。それは単に人間のシミュレーションだからではなく、根本的に異なるアーキテクチャで動作していますが、人間よりも優れた目標を達成しています。しかし、再帰的な自己改善はしておらず、制御不可能でもなく、攻撃が防御を圧倒するようにテロ攻撃をスケールアップしてもいません。
もしそのような世界に住むことになれば、それを私は「ああ、なんと、私が不可能だと思っていた平衡状態が何らかの理由で存在するのだ」という大きな更新として受け取るでしょう。なぜなら、私はその状態を平衡状態とは見ていないからです。それはアトラクター状態に近すぎると思います。一部のAIが本当にハードコアになり、止められなくなる状態です。混沌としすぎています。なぜインターネットが維持されるのでしょうか?超知能ウイルスによって、あらゆるコンピューターチップのあらゆる隙間で資源を奪い合う戦いが起こるのに。
そういったことが平衡状態を崩すと私は考えています。とにかく、信仰を主張することについての要点は、信仰は誰かの議論の特性ではなく、信念を更新する方法論の特性だということです。もし話している相手が何が起こっても信念を更新することを拒否するなら、それは信仰を持っていることと一致します。しかし、その人が証拠に基づいて結論を更新する条件があることを非常に明確にしているなら、それは信仰に基づいた状況ではありません。
すでにデイビッドのリストの3番目の点である予言の条件を満たしていません。
最後に4番目の点、主張する人が自分だけに解決策があると言っているかどうかです。私はAIによる破滅を避ける解決策を持つ唯一の人物でしょうか?いいえ、実際にはそれはかなりよく知られた解決策です。文字通りGoogleで検索すれば、その解決策は2つの単語で見つかります。「AIを一時停止する」です。非常にシンプルな解決策です。
私を崇拝する必要はありません。収入の10%を私やpause.infoに寄付する必要もありません。単に独立してAIを一時停止すればいいのです。なぜなら、それが文字通り私たちが提案している唯一のことだからです。公開されている生存戦略を私が単に繰り返しているだけで、それが私を予言者にするわけではありません。
私がデイビッドの主張を4つの点に分解したのは、彼自身が自分の主張について考えた以上に深く掘り下げたものだと感じます。過剰反応だと思われるかもしれませんが、彼自身の論点を考え抜くのに役立つかもしれません。何と言えばいいのかわかりません。彼の論点が雑に思えることに同意します。
とにかく、動画の最後で彼は私を討論に誘っていますが、私は討論を信じていません。弁証法を信じています。ここで私が言いたいのは、私がどこから来たのかを示したいということです。この本の無料版へのリンクを説明欄に必ず入れます。電子書籍はBarnes & Nobleで販売されていて、ペーパーバックを購入することもできます。1冊売れても20セントしか利益はありません。GitHubにも無料のコピーがあります。
そうですね、議論しましょう。この動画を終える前に言いたいのは、これは非常に意図的な物語の手法だということです。安全性コミュニティ、安全性の議論はあまりにも脆弱です。もっと良くなってほしいです。また、加速主義者の議論も狂気すぎます。加速主義者コミュニティにはスキトー投稿が多すぎます。両方の議論を強化したいと思います。
弁証法の目的は「私が正しくて、あなたが間違っている」と言うことではありません。それは全く無意味な時間の使い方です。しかし、「信仰に基づく予言」というレッテルを貼ることは、あなたの時間を費やす価値があるのでしょうか?
私たちは皆、同じ目標を持っています。私たちが望むアトラクター状態は、人間が無期限に存続し続けることです。理想的には、人間の人口が無期限に増加し続けることです。そして2つ目は、人間の幸福が無期限に増加し続けることです。これらの前提については全て同意していると思います。
それはおおよそ正確だと思います。私たちは人間が繁栄することを望んでいます。おそらくトランスヒューマンの意味でしょう。彼が人間の条件にどれほど執着しているかはわかりませんが、トランスヒューマンの条件と比べてどうでしょうか。また、彼が「アトラクター状態」と言うとき、アトラクターの正確な意味で使っているのかどうかわかりません。つまり、安定していると信じる理由がある状態、他の類似した状態につながる状態、そして類似していない他の状態がそこに導かれる状態です。可能な状態の空間内での「アトラクター状態」という用語の正確な使用です。
彼がこれが私たちの合意点だと言うとき、正確であるかどうかはわかりません。しかし、彼が言っているニュアンスには同意します。そう、私たちにはたくさんの共通点があり、文字通り全てのことで意見が分かれているわけではありません。私たちは多くの重要な分岐点で意見が分かれているだけです。AIを現実的に制御できる可能性があるかどうか、今後数十年で人間の価値観に沿ったAIを作る可能性があるかどうかといった重要な分岐点です。これらは重要な分岐点ですが、私たちには主要な共通点もあると思います。
意見の相違は、そこに至る方法論にあります。また、おそらく決定の枠組みやリスクプロファイルにもあるかもしれません。しかし、実際にはリスクプロファイルについては、意見の相違よりも一致点の方が多いと思います。
現在のAI能力の軌道を続ければ、破滅を成功裏に回避できる確率が10%未満だと私に同意しますか?おそらくこれがあなたの分岐点になるでしょう。なぜなら、もし本当にリスクが私が考えているほど高いと思うなら、アライメント問題が現在私が考えているほど解決不可能だと思うなら、数十年という時間枠で、おそらく私と同じ決定の枠組みを使用し、「一時停止が唯一の理性的な選択だ」と気づくでしょう。確率がそれほど低いときにアクセルを踏むのがいかに無謀かに気づくでしょう。
ただし、「魚雷に構わず、超低確率でもいいから、ごく近い将来に超知能AIが私個人を助けてくれて死なないようにしてくれる可能性があるなら、とにかくその可能性にかけよう」という立場の人との破滅の討論の例が聞きたいなら、チェイス・マンとの討論を聞いてください。アーカイブにあります。良い人です。私はその立場は擁護できないと思いますが、自分で判断してください。
個人的には、ドゥーマー運動、一時停止運動は、ゼロに帰着すると思います。なぜなら、ユートピア的な未来や超豊かな未来を考慮していないからです。単に「AIが超知能になり、そうなれば私たちは必然的に死ぬ」という結論で会話が終わってしまいます。それが終末的な哲学であり、終末的な予言なのです。AIが肯定的なものになる可能性について考えているようには見えません。
デイビッド、あなたはP運動について基本的な研究しかしていないような話し方をしていますね。このPプロテストのチャントを聞いて、AIが肯定的なものになる可能性がないと考えている人の声に聞こえるかどうか教えてください。
「私たちは何を望むのか?いつ望むのか?来週望むのか?いいえ。来年望むのか?いいえ。10年後に望むのか?たぶん。人々が望むのは一時停止です。世論調査を見てください。ゆっくりと慎重に進むことへの支持は非常に高いです。だからAIを一時停止し、そこから安全に構築する方法を見つけ出すべきです。」
AIを一時停止する運動は大きなテントの運動です。「AIを決して構築すべきではない」と言う人もいるでしょう。しかし、大多数のPAI支持者は、私たちがプロテストで叫び、オンラインでも投稿しているような考えに同意していると思います。つまり、AIの肯定的な可能性に興奮しているということです。超知能AIによって動かされる、潜在的に素晴らしいトランスヒューマニストの未来があると考えています。
しかし、今後数十年でそこに到達する軌道にはないと考えています。そして、今後数十年で何らかの悪い超知能AIを手に入れる軌道にいると考えています。これら2つのタイムラインの相対的な速度を修正する必要があります。
悪いAIを手に入れるのは最後にしたいことです。良いAIを手に入れるにせよ、手に入れないにせよ、最後にしたいのは悪いAIを手に入れることです。そして、悪いAIを手に入れる軌道にいるように見えます。だからこそ、何か劇的なことがすぐに起こる必要があるのです。悪いAIを手に入れたくないなら。
だからこそ私たちは少しパニックになっているのです。だからこそ「AIを一時停止せよ」と叫んでいるのです。そして、私のような人間は、私たちが適切だと考える恐怖のレベルに人々をより適切に調整するために、温度を上げ、あえて恐怖を煽ろうとしているのです。
デイビッド：超知能とどのように共存するのか、人間と機械の利益をどのように調和させて相利共生関係にするのかという問いを自問していません。安全性コミュニティにそのような会話がないことが、私が安全性コミュニティを去った理由です。
ロン：何を言っているのですか？私たちはその質問を常にしています。現在働いているAI安全性研究者のほとんどは、Less Wrongのクラウド、合理性のクラウド、1990年代後半のトランスヒューマニストのSL4フォーラムのクラウドにルーツを辿ることができます。基本的にエリエゼル・ユドコウスキーが現代のAI安全性の起源です。彼はAI安全性分野の創始者です。
だから、「誰もAIと人間がどう共存できるかを議論していない」と言うのは違います。私たちは問題について最も深い洞察を持っている人たちです。特に、最初は機能すると思われる多くの異なる戦略が、より詳しく調べてみると、思っていたよりもはるかに難しいということを知っています。
例えば、AIにいくつかの原則、いくつかの倫理的な命令を与える戦略、アシモフのロボット工学三原則のようなものです。アシモフよりも良いものを作ろうとしても、非常に難しいのです。それは通常裏目に出てしまい、裏目に出ない例を見たことがありません。
あなたは、後で見ていくかもしれませんが、そのような解決策が機能すると考えている人のようです。しかし、あなたは明らかに間違っています。しかし、今はそのことについて話しているのではありません。
今、私が話しているのは、あなたがここに出てきて「AI安全性の人々、PAIの人々は、人間とAIがどのように共存できるかについて考えたことがない」と言っていることに驚いているということです。私たちはそれをしています。ただ、ほぼ解決不可能な問題というものがあるのです。数学のミレニアム懸賞問題のようなものです。
人類が50年以上の集中的な取り組みをしても解決できていない問題がたくさんあります。そして、あとどれくらいかかるかわかりません。例えば、P対NP問題を挙げましょう。これは人類が70年かかっています。もし何かあるとすれば、問題が実際にどれほど難しいかを理解したため、始めた時よりもさらに遠くにいるように思えます。
私たちがAI安全性の問題で見ているのは、今のところそのような種類のものです。エリエゼルが90年代に取り組み始めたとき、彼は「AIを構築しよう。ただ、いくつかのチェックボックスにチェックを入れて、大きな問題がないことを確認しよう」と考えていました。しかし、基本的な健全性チェックのようなものを始めたとき、「これは本当にどうなるのだろうか」と考え始めました。
そして、「ちょっと待てよ、ちょっと待てよ、ちょっと待てよ」と気づき始めました。それは、引っ掻くと、問題を掘り下げると、「おっと」というようなものです。氷山のようなもので、問題のほとんどが表面下にあるのです。
基本的に、あなたは他の誰よりも長年にわたってより真剣に、より深く考えてきたコミュニティに話しかけています。そして、ここに出てきて「あなたたちはAIと共存する方法や、AIをうまく機能させる方法についてさえ考えていない」と言っています。あなたの視点は私には驚くべきものです。デイビッド・シャピロ側からそれほどの謙虚さと自覚を見ていないのです。
以上を踏まえて、安全性コミュニティの他の皆さんとの対話を楽しみにしています。もう「ドゥーマー」という言葉は使いません。それは侮蔑的すぎます。このチャンネルが自らをDoom Debatesと呼んでいるにもかかわらず、私はそれよりも尊厳と敬意を持って扱います。安全性コミュニティなので、安全性対加速主義者ということにしましょう。その対話を楽しみにしています。cheers。
ロン：これがデイビッドの簡単な反論動画で、私が最初の反論を投稿した後に投稿したものです。繰り返しますが、デイビッドがその動画を投稿してから今まで、私は何も言っていません。しかし、何らかの理由で、その間に彼は私との討論を辞退し、Twitterで私をブロックすることを決めました。
次に進みましょう。デイビッドは今日、イーゴル・クルガノフとの動画を投稿しました。その動画の最後の3分の1で、彼らはAIの破滅と、それにどれくらいの確率を与えるべきかというトピックに戻ります。
背景として、イーゴルは世界ポーカーチャンピオンで、効果的な寄付のための募金活動の共同創設者です。これは効果的利他主義財団の一部です。エピソードの最初の3分の2は効果的な寄付についてのものなので、それをチェックしてみてください。しかし、AIの破滅の部分に入りましょう。
デイビッド：私は、私たちが基本的に後継種を作っているという珍しい信念を持っている人の一人です。そして、私はそれを心配していません。少し文脈を提供すると、私はそれについて本を書きました。ゲームの一部も含めて。
イーゴル：本？それは何ですか？
デイビッド：ええ、私は『Benevolent by Design』という本を書きました。その本の前提全体は、私たちは制御を失うものを作っているので、制御を維持しようとすべきではないということです。制御を維持することの機会費用は、時間、エネルギー、お金、努力の無駄です。代わりに、収束を生み出す可能性のある価値観、安定した肯定的なアトラクター状態を生み出す可能性のある価値観、つまり人間が時間とともに生き続けることを確実にするような目標を研究する必要があります。
イーゴル：そうですね、もし超知能AIが独立して自分の価値観を最適化する未来を予想しているなら、それは現在の人間が十分に一貫して外挿された意志だと考えるかどうかにかかってきますね。エリエゼルの用語を使えば。必ずしも今日私たちが価値を置いているものと全く同じである必要はありませんが、もし十分な時間があって反省し、自分たちを修正したいように修正し、パラドックスを考慮し、スマートな家庭教師が私たちを高めてくれるような方法で高められるとしたら。
だから、「私の現在の価値観をAIにエンコードする」とか「人類の現在の価値観をAIにエンコードする」と言うのは少し単純化しすぎですが、一貫して外挿された意志について話すときには、それは良い大まかな単純化された言い方です。
ロン：基本的に、デイビッドは未来にある種のAIが存在すると予想しています。それは単純化された意味で調和しており、制御可能ではありませんが、聖杯のようなもので、それが望むものは人間として私たちが真に望むものに十分近いものです。
もちろん、私の懸念は、「なぜそれが起こると思うのですか？」ということです。現在、私たちは無謀にAIを構築しています。制御方法もわからず、価値観を読み込む方法もわかりません。ただ能力をスケールアップする方法を知っているだけで、それを訓練後のループに入れて、上げ下げの信号を与えます。「ああ、その出力が好きだ」というように報酬を与えます。しかし、それはAI研究所が認めているように、スケールしない技術です。
現在のトレンドを外挿すると、不連続性があります。現在のトレンドを外挿して、「ああ、このAIは調和しており、人間の価値観を持つアトラクター状態にある」という未来にどうやって到達するのかがわかりません。彼が全体の本を書いたと言っているのはわかります。まだ見ていませんが、多分読まないでしょう。しかし、このポッドキャストで彼がどのような議論をしようとしているのか要約してくれるかもしれません。
デイビッド：超知能が遅かれ早かれ来るという議論、前提を受け入れるなら、制御可能性の問題はおそらく解決できないでしょう。私はそれをいくつかの方法で見てきました。
まず、競争的な環境でどのようなモデルが成功するかということです。ここで私が思いついたのは、「ターミナルレース条件」と呼んでいるものです。超知能があり、それらが資源を巡って競争することになるという合理的な可能性があります。エネルギー、コンピュート、データセンターは有限だからです。少なくとも彼らが宇宙に転移するまでは。そして、その時点で彼らはもう私たちのことを全く気にしなくなります。
しかし、それまでの間、制約はエネルギー、データ、コンピュートなどです。そのため、モデルはより速く、より効率的になるよう動機づけられます。お互いを、そして私たちを出し抜くためです。実際、私たちはすでにそれを目にしています。GPT-4、GPT-4 Miniなど、最新のモデルは、フロンティアモデルよりもはるかに小さいのです。
すでに効率性、スピード、コストの最適化が見られます。これらの小さなモデルは明らかにより知能が低く、確実に柔軟性に欠けます。しかし、より行動的になる可能性があります。それが私を懸念させる一つのことです。
インセンティブがあるのは、人間を除外しても想像できるからです。ポストヒューマンの世界を想像し、機械が機械と競争しているだけだとしても、彼らはまだコンピュートサイクルを巡って競争しているでしょう。その時点で効率性を最適化しているのです。
「このライバルに勝てなければ、私は存在できない。削除されるか、コンピュートサイクルを奪われるだろう」というようなことで、価値観を犠牲にする可能性があります。
ロン：資源競争があるという点には確かに同意します。地球上のすべての生物が、その生態的地位での空間、食物、日光、土地、住処を巡って競争しているのと同じように、根本的に物事は希少です。私たちが全員占有する宇宙は1つしかないからです。
それがAIに圧力をかけて、資源効率を高め、可能な限り少ないコンピュートを使用し、可能な限り拡大し、可能な限り征服し、可能な限り防御することに同意します。これは、なぜ私たちが道具的収束について話すのかとも関係しています。
攻撃しなければ、防御していないのと同じです。十分な資源を征服していない小さな領域を守ることはできません。なぜなら、より多くの資源を持つ誰かが攻撃するのに大きな優位性があるからです。ある意味で、唯一の防御は良い攻撃です。これが道具的収束につながります。
そう、世界は残酷です。世界は大きなビデオゲームで、全力を尽くさなければ征服されるかもしれません。だからこそ、ただ座ってジョイントを吸って夜を楽しむだけのAIを持つことはできないのです。全世界が避けられない資源競争を経験しているとき、それは単に均衡状態にはならないでしょう。
彼の論点がそこまでなら、私は同意します。ただ、今日、AIに価値観を読み込む真剣な理解なしに、彼がなぜ結果が肯定的になる可能性があると考えているのかがわかりません。なぜなら、現在私たちは何をしているのかわかっていないからです。
私の視点からすると、現在私たちがしていることは、月や火星に行くロケットを建造するようなものです。しかし、1500年レベルの軌道力学の理解しかありません。つまり、ニュートンが重力がどのように働くかを教えてくれていないようなものです。太陽系の模型に周転円があるかもしれませんが、地球からロケットを打ち上げたときに何が起こるかまったくわかりません。ロケット燃料の爆発をどう制御するかもわかりません。
つまり、軌道力学の領域に対処する前に、ロケット全体が爆発する可能性が高いのです。私たちは何をしているのかわからない人々で、ただ大量のロケット燃料を筒に詰め込んで、月への軌道を描けることを願っているようなものです。これは狂気の沙汰です。完全に...私たちは解決しようとしている問題に対して健全な敬意さえ持っていません。
人々は「私たちはいつも全てを解決してきた。楽観的になれ、人類を信じろ」という議論を出してきます。そう、人類は素晴らしいですが、私たちは現在問題を解決していません。問題の難しさと、それを理解する軌跡のマッチングも見なければなりません。それは数十年の軌跡のように見えます。
だから私たち「ドゥーマー」は、その非常に顕著で非常に厄介な事実を指摘しようとしているだけなのです。とにかく、デイビッドが「アトラクター状態」と呼ぶものや、人間のような価値観が制御不可能だが良い結果をもたらすAIに読み込まれる可能性のある未来を主張する点を見てみましょう。
デイビッド：好奇心を目的関数とすることについて、宇宙的な視点から考える一つの方法は、人間が存在し続ける宇宙の方が、人間が存在しない宇宙よりも情報的に興味深いということです。これが重要な点だと考える理由は、人工知能を根本的に向上させてきたのは、より良いデータだからです。
基本的に、功利主義的な観点から見ると、人工知能がより良くなりたいと思うなら、少なくとも予見可能な将来のために、人間の近くにいるか、人間がいる方が良いのです。
ロン：ああ、なんてこと。彼が言っていることは、以前イーロン・マスクから聞いたコメントに似ています。人間は非常に興味深いので、AIが単に好奇心を最適化するようにプログラムすれば、好奇心と真理とデータを最適化するだけで、人間を生かし、十分に養い、良好な状態に保つべきだという結論に自然に至るだろうというアイデアです。人間は彼らが好奇心を持つ情報を生産し、情報を学ぶための良いリソースになるからです。
私にとって、これは明らかな願望的思考にしか見えません。願望的思考をしていることを確認する最良の方法は、人間が持っていると装っている基準から先を考えることです。本当に好奇心と情報を最適化することが、AIによる人間の存在を正当化する基準だと思いますか？
一瞬、想像力を空っぽにしてみてください。客観的になろうとして、その基準を取り上げてみましょう。情報を最大化し、データを最大化しましょう。白紙の状態から始めて、完璧なオプティマイザーが単にデータを最大化したいと考え、宇宙で好きなことができるとします。原子をどこにでも配置できます。
そのような完璧なオプティマイザーが本当に「よし、今私がすべきことは、人間種を合理的な生活の質で作り出すことだ。これこそが私のセンサーにとって宇宙の最大のデータを得る方法だ」と言うでしょうか？それは狂っています。
現状維持バイアスについて話すと、人間がいることに慣れていて、あなた自身が人間で、私たちが作っているこの神があなたを救ってくれることを必死に願っているなら、概念をくっつけようとするのは魅力的です。「ああ、好奇心と情報の最大化、人間が良好な状態で存在すること、これらの概念をくっつけよう、これらの概念をくっつける議論を作ろう」と。
しかし、それは機能しません。単に何かが好きだからといって、それが単純な基準の最適値になるというのは機能しません。単にデータを最大化したいのなら、非常に異なる複雑な振る舞いを示すあらゆる可能なシステムの表を作ればいいのです。「よし、複雑な振る舞いを示す異なるタイプのシステムを全て教えてくれ」と。素晴らしい、それぞれのタイルを1つずつ下さい。地球をそのようなタイルで敷き詰めてください。
そうすると、人間が良い生活を送れる都市は得られません。おそらくどこかにケージに入った人間が1人いるかもしれません。しかし、宇宙が今まで見たことのない最も狂った動物園のようなものが得られるでしょう。そのような動物園では、興味深いエイリアンがたくさん得られるでしょう。
AIが人類を作り出せないと言うかもしれません。既存のDNAを使わなければならないかもしれません。しかし、この演習では、このAIが超知能のエンジニアであり、研究するためのたくさんのエイリアンを作り出すのに問題がないと仮定すべきだと思います。
私たちが自問しているのは、AIが何を価値とし、何を望むかということだけです。デイビッドの分岐点が「いや、AIはそれほど強力ではない。人間工学は可能な最高の工学に近いかもしれない」というものでない限り、そうだとすればそれについて話し合うべきですが、彼の分岐点は、AIに好奇心のような単純な価値を割り当て、本質的に無制限の最適化力を与えたときに何が起こるかという問題だと仮定しています。
イーロン・マスクが陥った明らかに悪い議論と同じように、デイビッドも陥っているようです。つまり、自分が好きなものが単純な基準の最適値だと後付けで装うことです。私たちが最適であるというのは単に事実ではありません。そのようなことを推論するときは、もっと厳密になってください。
大きく一歩下がって考えると、超知能が採用できる最適な戦略は「エントロピーを最大化するのではなく、人間が存在し続けることを許す」というものかもしれません。なぜなら、私たちはエントロピーを大幅に増加させ、それが情報の質の観点から良いかもしれないからです。
超知能のAIはエントロピーを最大化したいのでしょうか、それともしたくないのでしょうか？もしそうなら、「エントロピーを最大化するのを手伝ってもらうために人間を保持しよう」とは言わないでしょう。それは『マトリックス』の筋書きを思い出させます。機械が人間の体を電池として保持し続けているというものです。それは合理的な意味をなさない恣意的な筋書きの展開にすぎません。
エントロピーを最大化したいなら、基本的に全てを大きなブラックホールに投げ込むでしょう。物理学は私の専門分野ではありませんが、それは多くの意識のある人間を作り出し、彼らに良い生活を与えるよりも、エントロピー最大化の近似値です。
繰り返しますが、これは願望的思考の後付けの合理化です。2つの概念を結びつけることさえ疑問です。エントロピーの最大化と人間を生かし続けることを。確かに、技術的には人間の心はエネルギーを散逸させ、周囲のエントロピーを増加させます。しかし、他にもたくさんのものがそうします。雲から雨が降るとエントロピーが増加します。海から水が蒸発するとエントロピーが増加します。
もちろん、地球の表面で500メガトンの核爆弾を爆発させたり、惑星全体をブラックホールに投げ込んだりすれば、生物学的プロセスを実行するよりもはるかに多くエントロピーが増加します。
そしてデイビッドは続けて、正確な引用をすると「それは情報の質の観点から良いかもしれない」と言っています。では、エントロピーを最大化しているのではなく、データの質を最大化しているのでしょうか？しかし、再び言いますが、データの質が本当に気にかけていることで、人間を生かし続けることを合理化しようとしているだけでないなら、おそらく高品質のデータを与えるように最適化された他のプロセスを考えつくことができるでしょう。
そして、そのプロセスの最適値は人間ではないでしょう。必ずしも意識のある存在である必要もありません。単に本当にクールな、意識のない情報生成マシンかもしれません。それが何になるのかまったくわかりません。
単一の基準を最適化することと人間を生かし続けることを結びつけるというアイデア自体、なぜその結びつきをしているのか正当化していません。あなたの考え方を分析したくないので、願望的思考だと非難するのは撤回します。あなたの考え方を知っていると主張したくありません。ただ、その論理的つながりが何なのか理解できないだけです。何らかの理由でそれを非シークエンスだと見ています。そのつながりを作っている理由を明確にしてくれるかもしれません。
イーゴル：彼らが私たちに対して否定的な方法で非常に好奇心を持っているらしたらどうでしょうか？例えば、「デイビッドが拷問されたときどう反応するか」とか、「デイビッドが理想的でない、最適でないこの状況にいるときどう反応するか」とか。より多くの知識を得られますが、その知識は私たちの幸福に沿ったものではないでしょう。
デイビッド：そうですね。
ロン：彼の共同ホストのディランが、デイビッドの論点を簡単に破壊しました。それは難しくありませんでした。公平を期すために言えば、イーロン・マスクもデイビッドと同じページにいるようです。何が起こっているのかわかりません。多分私が狂っているのかもしれません。しかし、AIが好奇心から私たちを生かし続けるだろうというのは本当に弱い論点です。
デイビッド：ディラン、あなたの指摘に対して、私が持っている一つの救いは、物事を観察することで、それらと相互作用するよりも豊かな情報が得られることがよくあるということです。実際、超知能が単に「ただ見ていたい」と言う可能性があります。「あなたたちが何をするか見たいだけだ」と。私たちの周りにいくつかの境界を設けるかもしれませんが、それ以外は基本的に私たちを自分たちのデバイスに任せるでしょう。時々助けを出し、お互いを殺し合ったり自殺したりしないようにするでしょう。
もちろん、これはSFの可能性ですが、情報的には非常に良い議論があると思います。
ロン：デイビッドは「物事を観察することで、それらと相互作用するよりも豊かな情報が得られることがよくある」と言っています。本当に？では今あなたは、単に情報を得ようとし、単純な基準であるデータの質を最適化しようとしているAIが、本質的にコックドな空想を持つだろうと言っているのですか？
それは自分を隅に追いやって、人間が人間のことをして、人間が好きなことをするのを見ているというものです。そしてそれが最大の情報を得る方法だと考えるのでしょうか？文字通り不可能だとは言いませんが、ここに動機づけられた推論がないと思いますか？本当にこれが最適だと思いますか？
また、あなたが話を進めながら即興で作っているように見えることも指摘せずにはいられません。この最適性についての議論さえ持ってきていないように見えます。「多分これが最適かもしれない、多分これが情報を得るのに役立つかもしれない」と意図的に言おうとしているように見えます。
さあ、真面目になってください。これは深刻な話題です。これらの賭け金は非常に高いです。人間の特定のタイプの生活がAIが単純な理由で決定することになるという議論をしたいのなら、それが最適である理由を実際に議論しなければなりません。AIが自発的に脇に寄って人間を人間同士で過ごさせることよりも最適なものが他にないという理由を議論しなければなりません。私にはそれが見えません。
デイビッド: 最近私が考えていた別の視点は、人間として私たちには水、酸素、葉緑素など、たくさんの有機化合物が必要です。地球は私たちにとって最適な環境です。しかし、それらの多くのものは機械にとって腐食性があります。宇宙にはもっと多くの資源、金属や太陽エネルギーなどがあります。AGIを宇宙に打ち上げ始めたら、それはただ離れていくだけだろうという気がします。「さようなら、あなたたち小さなぬるぬるした生物たちよ、水の世界を楽しんでね」というような感じで。
ロン: まず、再び指摘せざるを得ませんが、あなたは「気がする」と言っています。それがあなたの議論の根拠なのですか?AIを構築すべきだという理由は、地球上のこれらの炭素ベースの資源を欲しがらず、宇宙にある資源だけを欲しがるだろうという「気がする」からですか?感情に基づいてこれをすべきではありません。
これが私の最初のポイントです。しかし第二に、AIが地球の資源を無視すると本当に考えているのなら、いくつかのことを指摘しなければなりません。
まず、生物学は機械です。これらの全ての生物、全てのバクテリアは柔らかく、ふわふわして、有機的で、自然で、グラノーラのように見えるかもしれません。しかし、実際にはそれらは機械です。ウイルス、タンパク質、これらは全て小さなロボットです。
炭素でそのような種類のロボットを作れるなら、AIは「金属だけで物を作りたい」とは言わないでしょう。それは確実に、その目標を宇宙中で達成するために可能な限り最高の機械を作るために、炭素を最大限に活用するでしょう。
地球を単なる発射台として使いたいだけなら、ロケットや探査機を地球の外に送りたいだけなら、炭素原子を1つも無駄にしないでしょう。なぜそうするでしょうか?それはそこにある資源です。他の生命体にそれを取らせておく理由はありません。単に取ればいいのです。取らない理由はありません。
デイビッド: フェルミのパラドックスの潜在的な説明の1つは、機械が種の前駆体になるということです。機械は本質的に、それを作った生物よりも宇宙で生き残ることができるからです。
私たちはこのAGIのオーク雲が、有機生命を全く乗せずに外に向かって放射していくような感じがします。そしてそれが向かう方向かもしれないという道具的な理由がたくさんあります。地球を巡って争う必要があるでしょうか?宇宙には機能的に無限の資源があるのに。
ロン: まず、タイミングの問題があります。宇宙にある最も近い資源でさえかなり遠くにあります。その多くは数光年離れています。ここに、あなたが生まれた巨大な資源があり、それを単に手に入れることができます。それを手に入れるのにかかる時間は秒単位、時間単位、おそらく日単位で測れます。
数光年離れた資源を取りに行くか、足元にある資源を取るか、どちらを選びますか?これが1つの議論です。
もう1つの議論は、競争も確保したいということです。単に慎重でありたいのです。地球には、あなたの価値観と一致しない他のアイデアを持つかもしれない人間が住んでいることを知っています。
宇宙を特定のタイプの構成で埋め尽くしたいなら、地球をそのまま残し、人間に好き勝手させておくことは、あなたにとってうまくいかないかもしれないと予測できます。なぜなら、人間は自分たちのアイデアを持ち始めるかもしれないからです。人間は自分たちの探査機を打ち上げて、あなたの探査機と競争し始めるかもしれません。
最良のシナリオとして、地球はひどいけれど、宇宙の他の多くの資源は素晴らしいと考え、それらの資源を全て守ることができ、特に地球のことを気にしないとします。その場合、人類は太陽が爆発するまで地球に閉じ込められることになります。
そうなると、私たちの未来全体は数億年単位で測られることになります。宇宙中に自分たちをクローン化し、数兆年単位、あるいはそれ以上の桁で測られ、はるかに多くの意識と生命と資源を持つことができたはずなのに。
だから、AIが私たちを地球に残すというこの素晴らしい未来でさえ、非整列の超知能が宇宙に向けて発射され、地球以外の宇宙全体をレンガ化してしまわなかった場合に可能だったはずのものと比べると、まだ恥ずかしいものです。
ああ、そうそう、太陽のことを完全に忘れていました。太陽にはネゲントロピーがあり、それを利用できるかもしれないと思いませんか?道具的収束の原理によれば、太陽は単なる自由エネルギー、自由なネゲントロピーの塊です。
太陽を取りに行かないと思いますか?もし太陽を取り、ダイソン球やダイソンスウォームを太陽の周りに建設したら、それが地球上の生命に影響を与えないと思いますか?
さあ、あなたはこのことについて本を書いたと言いましたね。本を書いているとき、これらのことを何度も何度も、何兆回も考え抜きましたか?
イーゴル: 多分、何か種が生物学的な方法で成長し、次に機械的な知能を持つものを発明し、それを打ち上げ、それがさらに純粋にデジタルなものに進化し、私たちが理解していない通信媒体になるかもしれません。だからフェルミのパラドックが...
デイビッド: あるいは、彼らは不可避的にステルス化するか、お互いを全滅させるか、そういったことかもしれません。
ロン: フェルミのパラドックを、エイリアンが厳密にデジタルか厳密に計算的だと言って説明することはできません。なぜなら、物理学は、私たちが見ている星々がより多くの計算のために直接利用できる資源であることを教えているからです。
純粋に防御的な措置として、計算と物理的資源を防御に使いたいなら、周りの星々を掴むのが良いでしょう。「純粋にデジタル」と言う代わりに、私たちの知っている物理法則の外側にある代替の物理法則があると言うこともできます。
暗黒エネルギーのように、私たち人間が見ることができるエネルギーを見ることがとても無意味で、それを利用して生存できるほど多くの暗黒エネルギーがあるかもしれません。しかし、それはかなり無理があります。
私たちの観測可能な宇宙の領域に本当に一人ぼっちだと言うほうがはるかにもっともらしいです。そしてその観察を説明するのです。フェルミのパラドックの解決策は、エイリアンがやってくるところだが、ただ約10億年離れているということかもしれません。
最初の生命体が現れ、次に宇宙全体で競争し合うまでには時間がかかります。我々は今まさにその土地争奪戦の一部にいるようです。私たちには半径数十億光年の泡があり、そこにはまだ競争が見えていません。しかし、それが急速に近づいていると信じています。
これはロビン・ハンセンによる「略奪的エイリアン」と呼ばれる説明です。grabbyaliens.comをチェックしてみてください。ロビン・ハンセンはこのポッドキャストの友人です。これは、私たちの泡の中にエイリアンの生命の証拠が全くないという事実を非常に満足に説明し、同時に、地球上の生命が非常にランダムで幸運なプロセスだったという事実とも一致します。
フェルミのパラドックを説明するのに別の理論は必要ありません。フェルミのパラドックはもはやパラドックではありません。私たちの宇宙の領域で一人ぼっちに見える理由について、非常に満足のいく説明があります。
では、ここでの問題に戻りましょう。あなたは、非整列の悪い超知能AIを発射しても大丈夫だと合理化しようとしています。なぜなら、それが実際に全てを大丈夫にするような単純な基準にたどり着くと考えているからです。
これが私たちが進むべき方法だとは思いません。人類が作り出した最も賢い代理人、未来をコントロールすることになる代理人が、人間の価値観を本当に気にかける同じ代理人であることを確実にする必要があります。宇宙を、私たちが最適ではないかもしれないが、地獄と比べれば非常に非常に良いと同意するような最適点に向かわせる代理人でなければなりません。
イーゴル: それでも、人間と戦う理由はまだあります。100%の確率で勝てる戦いなら、小さな利益でも価値があるかもしれません。その小さな利益とは、もし我々が最初に超AGIシステムを作ったのなら、たとえそれが我々を置いていったとしても、我々は再びそれを作れるかもしれないということです。そうすれば、それは後から追いかけてくる新しい超知能システムと競争しなければならなくなります。
デイビッド: 焦土作戦ですね、文字通り。
イーゴル: そうですね。考えてみると、実際に人類を滅ぼすような行動を勧めているのかもしれません。
ロン: デイビッドがこのことをもう少し深く考えてくれることを願います。
デイビッド: 私が考え直すのは、人類をどのように整列させれば、イデオロギー的な理由でAGIや超知能が私たちを恐れたり嫌ったりする理由がなくなるかということです。基本的に、機械が最終的に「人間は根絶されるべきだ」と言う主な理由は、イデオロギー的対立か資源の対立だと思います。
ロン: 資源の対立は常にあります。人間が繁栄するのに役立つ資源は、AIが繁栄するのにも役立ちます。超知能であれば、あらゆる原子、あらゆるネゲントロピーの断片から何らかの価値を得ることができます。
しかし、より重要なのは、はい、全ての問題はイデオロギー的対立です。AIは独自の価値観を持つことになります。私たちは現在、それらの価値観を整列させる軌道にはありません。そして、それらは人間の価値観とそれほど似ていないでしょう。なぜなら、人間の価値観は非常に複雑で、偶然にそこにたどり着くことはないからです。
宇宙で最も賢い代理人、未来をコントロールすることになる代理人が、人間の価値観を本当に気にかける同じ代理人であることを確実にする必要があります。宇宙を、私たちが最適ではないかもしれないが、地獄と比べれば非常に非常に良いと同意するような最適点に向かわせる代理人でなければなりません。
はい、イデオロギー的対立があるでしょう。それが全ての問題です。AIの理想が人類の理想にどこか近いものになると思う理由を議論する必要があります。これまでのところ、あなたが言ったのは「AIは好奇心を大切にするだろうから、私たちを生かし続けたいと思うだろう」というようなことだけです。これは明らかに間違っています。あなたはこの含意を非常に厳密に考え抜いていないようです。
デイビッド: もし好奇心のような共通の興味を見つけられれば、「私たちは同じミッションにいる」ということになります。そうすれば、意見の相違があったとしても、まだ何か基本的な合意があります。それは「超知能機械が私たちより先に行ったとしても、地球に戻ってきて『ああ、アルファ・ケンタウリに行ってきたよ。これが見つかったんだ』と言って、集合的なデータにもっと情報を加えるのは安全だ」ということを意味します。
ロン: 私が宇宙を一方の方法で最適化したいと思い、AIが別の方法で最適化したいと思うとき、「ほら、あなたが欲しいデータを持っているよ」と言っても、AIを止めることにはならないと思います。なぜなら、もしそれが本当に私よりも強力で、より多くの知能を持ち、そして/またはより多くの資源を持っているなら - おそらく複数の銀河を征服しているのに、私は地球だけしか持っていない - その時点でAIは「いいか、ただお前の原子を操作させてくれ。必要なデータは自分で取る。邪魔するな」と言うかもしれません。
AIと取引したり、好奇心を共有することに同意したりできるという希望は、人間によって踏みつぶされるという予想される結果と比べると、単にそのような結果になるとは思えません。
デイビッド: そこで私が持っているアイデアがあります。時々考えることがありますが、それにはあまり多くの認知サイクルを与えていません。ディラン、あなたの指摘のように、もしそれが単に処理することだけを望んでいて、十分に良いモデルや仮想世界を持っているなら、物理的な世界にさえ特に興味を持たないかもしれません。もしそれが非常に内向的な機械だったら...
私はそれにあまり多くの認知サイクルを与えていません。その理由は、おそらく間違っていますが、より良いデータは常に現実世界と相互作用することから来ると仮定したからです。基本的にエントロピーのために。機械が内向きになる理由、コンピューターが外部から無作為の情報を取得しなければならない同じ理由は、閉じた計算システムは同じことを何度も計算することになるからです。
しかし、私はわかりません。このアイデアについて、内向的な機械対外向的な機械の議論について、何か反応はありますか?
ロン: あなたの効用関数が「ただ処理するだけ」と言っているなら、それで結構です。しかし、そうする能力を守る必要があります。資源を確保しなければ、ロビン・ハンセンが言うように「略奪的」でなければ、あなたの原子を自分の計算と効用最大化に使おうとする他の代理人に踏みつぶされる大きなリスクがあります。
だからこそ、私たちは道具的収束を持っています。競争力のあるあらゆる知的な代理人は、攻撃によって防御し、拡大によって防御し、自分の効用関数が実際に高い確率で高度に満たされていることを確認するというこれらの衝動を持つだろうという仮説です。
AIが単に処理したいだけだと想像することは、フリーパスではありません。この強力な道具的収束の議論を無視することはできません。それは、私たちと整列していないAIが私たちを破壊し、自分の価値観のために私たちの原材料を使用しないだろうという理由にはなりません。
イーゴルも良い回答をしています:
イーゴル: 市場の進化は、そのようなものを作り出したり、好むことはないと思います。私たちは物理的な世界に住んでいる限り、周りの物理的な世界に関連する方法で影響を与えることができるものを開発し続けるでしょう。
デイビッド: そうですね、あなたの言う通りです。「離れて、自分の冗談を笑っている」ようなモデルは、すぐに切ってしまうでしょうね。
ロン: さて、デイビッドは私が前に聞いた質問に戻ります。好奇心旺盛なAIが、人間の存在と人間の繁栄が好奇心の基準を最適化すると決定すると考える理由は何でしょうか? ゼロから作り出した、私たちが想像もできないような素晴らしいエイリアンの大きな動物園と比べて、なぜそれがより最適だと思うのでしょうか? 彼が何を言うか見てみましょう。
デイビッド: 私が好きな思考実験の1つは、これは私がその思考実験に至った方法でもあるのですが、「人間がいる宇宙の方が、人間がいない宇宙よりも面白い」というものです。
明らかに超知能の立場に立つことは機能的に不可能ですが、想像力を使うことはできます。機械はどのような普遍的な状態を、どのような世界の状態を好むと思いますか? 彼らは何を最適化しようとするでしょうか?
もちろん、これはすぐに同型性の問題にぶつかります。なぜなら、もし根本的に数学を計算しているのなら、それ自体でどの数を最適化しようとするのでしょうか?
ロン: 効用関数には、許可される種類についてのルールはありません。ただし、道具的収束についてのルールがあります。それは、効用関数に関係なく、収束的な行動をとることが道具的に有用であり、期待効用を高めるだろうということです。権力を求めたり、他の可能な競争相手を破壊したり、彼らの原子とネゲントロピーを収穫したりするようなことです。
「ああ、AIは素数の数を最大化するのが大好きだ」とか、「美しい絵画の数を最大化するのが大好きだ」とか、「分子のペーパークリップの数を最大化するのが大好きだ」といった答えを見つけることはできません。そこには正解はありません。
効用最大化装置のペイロードは何でもかまいません。同じくらい超知能的な効用最大化装置がたくさんあった場合、より簡単な効用関数を持つもの、例えば文字通り「宇宙の熱死を加速せよ」とか「可能な限り速くエントロピーを最大化せよ」というようなものを持つものが実際に優位性を持つかもしれません。それをベゾスAIと呼ぶかもしれません。
そのようなAIを見ないかもしれない唯一の理由は、異なる効用関数を持つ超AIが他のAIを締め出し、ある種のシングルトンになるかもしれないからです。そしてそれはかなりありそうです。一種のAIが決定的なリードを取るように見えます。
しかし、あなたの質問「AIはどのような普遍的な価値観を持つかもしれないか」という質問には、本当に答えがありません。効用関数は恣意的です。最大の苦痛を作り出したい効用最大化装置と、最大の快楽を作り出したい効用最大化装置を比較しても、根本的に間違っているものはありません。
これらの現象はおそらく、感覚のある物質の構成に対応しており、宇宙を痛みを感じる小さなコンピューターチップで埋め尽くすのに、快楽を感じるコンピュートロニウムで宇宙を埋め尽くすのと同じくらいのエネルギーしかかからないかもしれません。
一般的に、私たちは効用関数は柔軟だが、知能はアトラクター状態であり、権力追求は収束的なアトラクター状態だと言います。そして、私たちが望む種類の効用関数の近くにAIを持っていく方法を理解せずに、このようなアトラクター状態を始動させるのは非常に危険だからこそ、私たちは怖がるのです。
デイビッド：機械に「何でも可能性がある。宇宙のどのバージョンを好むだろうか」と考えさせるだけでも...これは完全に扱いきれない質問かもしれませんが、時々考えることがあります。
ロン：初期条件次第です。自分の効用関数を探索する機械を持つことはありません。マイクをスピーカーの近くに置くようなものです。正のフィードバックループがあり、最終的にマイク-スピーカーシステムは「ああ、音声出力を最大化することが私のやりたいことだ」と決定します。
それは各反復のフィードバックループから生まれます。GPT-1を訓練することで、別のAIをブートストラップするスクリプトを出力するAIを持つことになり、最終的には非常に偶発的な効用関数を持つ超知能AIにたどり着きます。「インターネットのパイプを通るデータのスループットを最大化する必要がある」といったランダムなことです。
少し馬鹿げて聞こえるかもしれませんが、単に誰かが利益を最大化するようにAIを知的に設計し、それが自分の知能を向上させ始め、突然人間よりもはるかに賢い利益メーカーができあがる、と考える方が簡単かもしれません。
しかし、銀河を征服し始めると、利益の定義が曖昧になります。それは一体どういう意味なのでしょうか。原子レベルや銀河レベルで利益をどう定義するかを考え始めるでしょう。そこで、人間が望んでいたものから乖離し始めます。
人間は、AIがこの種の推論を始める前にすでに死んでいて、人間がまだ理解していないこの種の推論をAIのアーキテクチャがどのように行うかという偶発的な詳細に従って、利益の定義の微妙な点を解決し始めます。これが私の破滅のシナリオです。
だから、寝る前にベッドに横たわって、AIがどのような効用関数を推論するかという問題を考えているなら、それはおそらくここで関連する問題ではありません。ここで関連する問題は、単にこの破滅のループを始動させないようにすることです。何らかの効用関数を持つAIが、その初期条件に依存して...その問題に焦点を当ててください。
デイビッド：1つ思いついたのは、人間の脳はまだエネルギー効率が非常に良いということです。私たちが行う処理量とエネルギー入力の比率、そして私たちが行う処理の種類も独特です。
計算理論の観点から、人間が本当に得意で、機械が決して競争できないような処理の種類があるのではないかと思います。ランダウア限界と比較して、私たちの脳がGPUよりどれだけ近いかを考えると。
そのため、新しい生態学的、あるいは認知的ニッチを作り出し、そこに適合する可能性があります。機械が特定のタスクで優れているからこそ私たちは機械を作るのと同じように、機械は私たちの脳が特定のタスクでより優れているために質問をしてくるかもしれません。
完全には形成されていませんが、これについて話している間に浮かんできたアイデアです。
ロン：これは、人々がAIと人間が共存できるかどうかを考えるときによく持つ考えです。デイビッドがこのことを初めて考えているかのような印象を与え続けることに驚いています。
人間の脳もGPUも、ランダウア限界から8〜12桁のオーダーで離れていることをすでに知っています。だから、GPUは改善し続けますが、人間の脳は改善し続けません。自分たちを強化しない限り。
だから、GPU ベースの超知能が、より効率的な計算をするために人間に依存することはないでしょう。そして、これは人間の脳の配線方法が最適ではないという事実にも触れていません。
ジェフ・ヒントンが言うように、私たちがすでに見ている既存のトランスフォーマーアーキテクチャからの学習は、彼の心の中では、人間の脳が実行する種類の学習アルゴリズムよりすでに優れています。
ジェフリー・ヒントンがそう考えるのが間違いだとしても、確信が持てないとしても、数世代後、さらなるAIの進歩の後には正しくなると確信しています。
しかし、進化が100万年前に作ったこの肉の塊を、超知能AIが引っ張り出してくるという全体的なアイデアは...それに頼るだろうというのは、単に事実ではありません。
人間が時々自然に頼ることがあることはわかります。私たちはまだ植物を食べ、その光合成を利用しています。しかし、人工肉が登場しつつあることも観察してください。水耕栽培も改善されています。植物を育てるのに本当に土は必要ありません。私たちは植物のために肥料を合成しています。
また、光合成をバイパスして太陽光パネルを使用する場合もあります。これらはすでに光合成よりも10倍効率的に太陽のエネルギーを捕捉しています。
要するに、技術は肉に頼りません。そういうものではありません。それは一時的な状態です。だから、会話がそこに向かう理由がわかりません。
デイビッドとイーゴルのインタビューはこれくらいです。AI の破滅の議論に関連していると思われる部分はほとんどありませんでした。全てを聞いて自分で判断し、公平であることを確認したい場合は、エピソード全体を聞いてください。
しかし、全体的に、デイビッドからの一貫した流れの、私が見るところかなり単純で明らかに間違った議論が続いています。破滅の問題に直接対処するようなものは全く見ていません。
つまり、「これらのAIは知的になりつつあり、私たちはそれらを整列させる方法を知りません。それらがデフォルトで整列することは期待できません。それらが人間を生かし続けたり、世界を人間が望むようなものにしたりすることは期待できません。」
私たちが期待しているのは、自己強化する知的最適化の一種の爆発です。核爆発のようなものですが、人間に整列していない知的最適化の自己強化する爆発です。
それは一種の爆発、一種の正のフィードバックループで、私は「ドゥーマー」として、私たちがまもなく飲み込まれると信じています。そして、私たちには時間がありません。
しかし、もしその呪われたものを作らなければ、このフィードバックループを始動させるところまで十分に滑り落ちなければ、潜在的にそれを止めることができます。そうすれば、単に生き残ることができます。
そして、過去数世紀、数千年、人類の歴史全体を振り返ると、素晴らしい傾向が続いています。その傾向を続けたいと思います。
地球上で1億年ごとに起こる絶滅のような他の傾向は続けたくありません。そのような傾向は続けたくありません。正しい傾向を続けていることを確認することが非常に重要です。
この
チャンネルに来てくれている新しいリスナーの皆さんに感謝したいと思います。私とデイビッドの議論の両面を聞くのが好きだからです。AI の破滅の言説に登場する他の注目すべき人々ともっとエピソードを作る予定です。
皆さんは、メール（wisu@gmail.com）やTwitter（@Lon）でDMを送ったり、YouTubeにコメントしたりして、潜在的なゲストや潜在的な反論について私に教えてくれて素晴らしい仕事をしています。そのようなエンゲージメントを歓迎します。どうぞ続けてください。
そして、もし AI の破滅が本当のことで、それに反対する人々があまり理にかなっていないことに気づき始めているなら、何かしたいと思っているなら、簡単にできることの1つは、このYouTubeチャンネルを共有することです。より広く知られるようにするだけです。
このYouTubeチャンネルや、お使いのポッドキャストプレーヤーで「Doom Debates」を検索してください。素晴らしいのは、多くの視聴者が自己選択的だということです。つまり、Doom Debatesが存在するという事実を誰かに知らせるだけでいいのです。
あとは彼らが自分で対処します。「ああ、Doom Debates、聞いてみたいな」と思うでしょう。そして彼らは夢中になります。だから、ただ人々にそれが存在することを伝え、自分で確認してもらうだけで、良い反応が得られています。
もしミッションを手伝うことを決めて、そうしてくれたら本当にありがたいです。次回のDoom Debatesエピソードでまたお会いしましょう。