ニック・ボストロム | AIユートピアにおける人生と意味

深いユートピアの問題は、解決された世界で私たちは何をするのかということです。

例えば、数学を知るためには多くの時間と労力を費やして数学を学ぶ必要がありますが、技術的成熟の段階では、ボタンを押すだけで数学の代数モジュールをダウンロードできるとしたら、数学を学ぶために努力する必要はありません。そうすると、多くの活動を削り始めることができます。そこで、より根本的な深いユートピアの問題に入ります。そこでは、目的や意味、究極的な価値といった問題を本当に考え直す必要があります。

皆さん、こんにちは。Win-Winポッドキャストへようこそ。今回のエピソードは、ユートピア、ディストピア、そして思考実験についてです。なぜなら、私はニック・ボストロムと話をしているからです。ニックは世界最高の知識人の一人で、過去15年間オックスフォード大学で哲学教授を務めてきました。また、理論物理学、計算論的神経科学、論理学など、幅広い学問的背景を持っています。しかし、彼が最もよく知られているのは、破滅的リスクとAIに関する仕事でしょう。約10年前に『スーパーインテリジェンス』という本を書き、現在AIと関連付けられる多くの人々に影響を与えた重要な作品です。今回のエピソードは主に、彼の新刊『深いユートピア：解決された世界における生活と意味』に焦点を当てています。これは本当に大きなテーマに取り組んでいます。そこで、ニック・ボストロムとの私とイーグルスの会話をお聞きください。ニック、今日は参加してくれてありがとうございます。今日お話ししたかった理由の一つは、あなたが『深いユートピア』という本を書いたからです。この本は、このエピソードを公開するちょうど頃に出版されるはずです。あなたは歴史的に地球規模の破滅的リスクについての著作で知られていますが、今回ユートピアについて語るのは大きな転換ですね。この変化はどこから来たのでしょうか？暗い曇り空の中に小さな光が差し込んできたというわけですね。いや、実はどちらの側面も常にあったんです。実際、何年も前に『ユートピアからの手紙』というものを書いたことがあります。これは、達成できる肯定的なことを詩的に喚起しようとする試みでした。ただ、過去のある時点では、様々な問題が起こる可能性のある事柄を分析し、注意を喚起することがより急務だと思われたのです。そうすることで、それらの落とし穴を避けることができれば、最終的には自分たちが確保した大きな未来について考える時間が十分にあるだろうと考えたのです。存在論的リスクや地球規模の破滅的リスクについて考えたり研究したりする多くの人々が、それを好んでいるというのは誤解だと思います。むしろ、落とし穴を避けることができれば得られる良いものについて考えるのが好きなので、ユートピアの可能性を達成するための手段として、落とし穴について考えているのです。そうですね。多くの人がこの分野に入るのは、暗いものや映画のノワールに魅了されているからではないと思います。ユートピアというトピックに深く入る前に、その意味を正確に定義しようとすることが役立つでしょう。多くの人がそれぞれ異なる印象を持っていますからね。本の中でいくつかの異なる定義を挙げていますが、それらを説明していただけますか？多くの概念やアイデアがありますが、一つの重要な概念は技術的成熟です。これは、物理的に可能で、実現可能な開発経路がある全ての技術が開発された状態、あるいはそれに近い状態と定義しています。本の中では多くのことを括弧に入れています。特に、現在の状態からそこに至るまでの道のりについては括弧に入れています。つまり、私たちの前にある全ての実践的な困難を脇に置いているのです。そうすることで、「それから何をするのか」という問いに実際に取り組むことができるのです。前作の『スーパーインテリジェンス』では、AIで何が間違う可能性があるかを主に扱いました。少なくともページの95%は様々なリスクについてでした。この本では、物事が正しく進んだらどうなるかを問いかけています。最終的に、技術的成熟の状態に達すると考えています。これは前提条件を設定するのに役立つ一つの言葉です。

次に、「解決された世界」という概念があります。これは、技術的成熟を持つだけでなく、全ての調整問題や政治問題、公平性の問題も解決された世界と考えることができます。つまり、ある意味で人間の願望や価値観に最大限柔軟に対応できる世界です。

もちろん、重要な条件付きではありますが。深いユートピアの問題は、解決された世界で私たちは何をするのかということです。人間の道具的な努力が不要になり、ロボットが食事を用意してくれるようになったとき、そのような根本的に変化した状況下で、人間の存在に意味と目的を与えるものは何でしょうか。仕事があるかもしれませんが、ポストワーク（仕事後）の世界は、完全な自動化がある世界です。そして、ポスト道具的（post-instrumental）な世界は、後で知るために学ぶこともできない世界です。なぜなら、単にダウンロードすれば良いからです。この領域での多くの努力、ユートピア的想像力は、もっと長く続けられる旅の初期段階で止まってしまっていると思います。最も原始的な形のユートピアは、ほとんど全ての文化にありました。中世の農民を想像してみてください。一日中働いて、おかゆを食べてもまだ空腹です。そんな状況で夢見る明らかなことは、豊かさの状態です。つまり、たくさんの食べ物があり、休むことができ、お金が木に生えているような状態です。もし強い社会的圧力や制約があれば、社会的規範が緩和される宴会の時間や祝祭の時間を想像するかもしれません。そのような状況では、それだけでも素晴らしいファンタジーになります。次に、現代社会の様々な傾向を警告する、象徴的な政治的闘争の代表としてのユートピアの一群があります。これらの傾向が続けば、より明らかに悪い状態につながるというものです。『1984年』や『すばらしい新世界』、そして他の多くの政治的な著作がユートピアの姿をした形で書かれています。最近では、自動化についてより深く考えようとする試みがあります。AIがこれらのことを全てやってくれたら、人間の労働市場はどうなるのでしょうか。そのより過激な形態は、ロボットが全ての経済的人間労働、あるいはほとんど全てを行える場合を考えます。そうなると、ユニバーサルベイシックインカムが必要になるかもしれません。そのような世界での教育システムや文化について議論することができます。

しかし、この旅にはさらに一歩進んだ段階があると思います。少なくとも一歩は。それは、解決された世界では、人間の経済的努力や労働だけでなく、他の種類の人間の努力も全て不要になるということを認識することです。

例えば、学習について言及しましたね。それは現在、努力を費やす一つのことです。例えば、数学を知るためには、数学を学ぶために多くの時間と労力を投資する必要があります。しかし、技術的成熟の段階では、ボタンを押すだけで数学の代数モジュールをダウンロードできるとしたら、数学を学ぶために努力する必要はありません。現在、フィットネスを維持したければジムに行って運動する必要がありますが、ピルを飲むだけで体が同じことをしてくれるとしたら...こうして、活動ごとに見ていくことができます。現在、余暇を得て退職し、多くのお金を持っている人の日々を満たすであろう活動の多くを削除し始めることができます。少なくともそれらの活動の上に疑問符を付けることができます。なぜなら、私たちはそれらの活動のいくつかを選択するかもしれませんが、今日それらに魅力を与えているのは、それらを行うことで何らかの結果を得られるからです。そして、それはある種の無意味さを感じさせるかもしれません。数学を学ぶこともできますが、なぜそうするのでしょうか？ダウンロードすれば同じように数学が得意になれるのに。人々はショッピングを楽しい娯楽として楽しむかもしれませんが、その活動に魅力を与えている一部は、最終的に本当に気に入った、生活を向上させる、あるいは見栄えの良い服のようなアイテムを手に入れられることかもしれません。しかし、AIのレコメンダーシステムがあなたよりも良いものを選んで注文してくれるとしたら、AIに任せた方が実際にはより良いアイテムを手に入れられるのに、それでもまだ楽しいでしょうか？

そこで、より根本的な深いユートピアの問題に入ります。そこでは、目的や意味、究極的な価値といった問題を本当に考え直す必要があります。なぜなら、今あなたが描写したのは基本的に、心の欲するものが何でもすぐに手に入る、努力や奮闘なしに即座に満足が得られる世界だからです。しかし、多くの従来の知恵、少なくとも私の直感は、「これは悪いことだ」と警告を発しています。私たちはしばしば奮闘から、あるいは少なくとも達成感から意味を引き出しています。

これは実際に本当の問題だと思いますか？それとも、これは将来の社会が解決できる問題だと思いますか？もしそうなら、どのように？まず、これは結論の本というよりは、読者が質問をし、それについて考えるのを助ける本です。これらの問題を意識的に認識させるためのものです。次に、これは多くの面で両価的な本です。最終的には希望に満ちていると思いますが、問題が本当に存在しないとか、全てが大丈夫だという主張をしようとはしていません。これについて考え始めると、多くのある種の幻滅や何かがあると思います。それを乗り越えれば、おそらく本当に良いものを構築できるでしょうが、多くの点で非人間的なものになるか、少なくとも慣れるまでは少し異質に感じるかもしれません。ポスト道具的な状況で意味をなす種類の存在は、私たち全てが現在直面しているこれらの様々な道具的制約です。生活のために働く必要がない人でも、まともな生活をしたければ多くのことをしなければなりません。歯を磨かなければならないし、これやあれやと時間を費やさなければならず、努力を払わなければなりません。昆虫が外骨格を持って柔らかい部分を支えているように、私たちの生活における道具的制約が人間の魂を支えていると思います。その制約を取り除いたときに、私たちが薬物中毒の快楽の塊や何か無定形なもの以外の何になれるのか、という疑問が生じます。また、そのユートピアでさえ機械ではできないかもしれないことがあると指摘しています。特に、感傷性がその一つの領域かもしれないと書いています。子供のクレヨンで描いた絵は、それを描いたのが子供だからこそ、親にとって特別に大切なものかもしれません。この小さな労働は、脳外科医やデリバティブトレーダーの仕事よりも自動化が難しいかもしれません。現在の親が子供の絵を見たときにこのことを覚えておくのは良いアイデアだと思います。プラスチックのユートピアでさえ、他にどのようなことが uniquely human に残ると思いますか？人間が努力を払う必要がある道具的な理由を探すことができます。他の理由で努力を払うこともあるでしょう。例えば、努力を払うこと自体に価値があると考えれば、その理由で選択するかもしれません。しかし、努力を払うことに特別な価値があり、それを達成したり何かを成し遂げたりするための道具的な理由があるところでは、そのようなセットアップには特別な価値があると考えるかもしれません。そこで、多くの可能性は様々な形の社会的・文化的絡み合いに関係していると思います。基本的に、あなたの価値観の一つが他人の選好を満たすことだとしましょう。他の人が、何らかの理由であなたに努力を要することをしてほしいと望み、特にあなたにそれをしてほしいと望んでいるとします。機械にやってもらうのではなく。これは他の人の単なる事実かもしれません。そのような欲求を持っているのかもしれません。そうすると、あなたは他の人の欲求を満たしたいという欲求を持っているので、努力を払う以外に方法がないでしょう。なぜなら、それが他の人が特に望んでいることだからです。これは簡単なセットアップでは少し作為的に聞こえるかもしれませんが、もっと微妙なバージョンがかなり広範囲に存在する可能性があると思います。全然作為的には聞こえません。例えば、現在でも適用される単純な形を想像できます。リヴが私に運動してほしいと思うかもしれません。そして、私がそれを達成する唯一の方法は実際に運動することです。彼女はそれを私の身体的な変化や健康の改善のために望んでいるのではなく、私自身がそれをする type of person になってほしいと望んでいるのかもしれません。そうすると、私にはその課題を実際に行う以外に彼女の望みを満たす方法がありません。これは、あなたが言及している潜在的な例だと思いますか？そうですね、でも...リヴが本当にあなたに運動してほしい理由は...リヴは言えるかもしれませんが、おそらく彼女があなたに運動してほしいのは、あなたに健康に気をつけてほしいからでしょう。そうですね、それが主な理由です。専制的な理由ではありません。私が彼女の望むことをするタイプの人になってほしいという理由ではありません。むしろ逆です。私は抵抗を好みます。分かりました。では、おそらくこれは潜在的な例に過ぎません。なぜなら、彼女が私に運動してほしいという具体的な目標は、その世界ではもはや存在しないでしょうから。しかし、彼女にそのような欲求がまだ存在すると仮定すれば、私が実際にそれを行う人間であることによってのみ、それを達成できるかもしれません。実際には、もっと複雑なものがあると思います。これを個人Aと個人Bがそれぞれ好み1、2、3を持っているというように原子論的に考えるべきではありません。これらはもっと文化的に相互に関連しているかもしれません。例えば、私たちが価値を置いている特定の文化的形態や伝統へのコミットメントがあるかもしれません。「これは世代から世代へと、この休日をこのように祝ってきた方法だ」というようなものです。そして、私たちはそれを維持したいと思います。それは美しく、十分長く続いてきました。そして今、その伝統を継続する唯一の方法は、私たち自身が様々なことを行うことです。AIを立ち上げてそれを演じさせるのでは、伝統を継続したことにはなりません。私たち自身がそれを行わなければなりません。つまり、人々が気にかける特定の種類のことがあり、それには私たち自身の参加が必要であるように見えます。そこでは、努力自体以外の何かを達成する必要があるため、人間からの道具的な努力に対する需要があるかもしれません。技術的成熟の概念において、あなたはその潜在的な成熟にどのような制限を置いていますか？例えば、その世界に大きな生物学的人間が1兆人いて、さらに多くのデジタルマインドがいると想像してみましょう。そして、それぞれが観測可能な宇宙で何かが起こることを望んでいて、それには分子レベルの精度で生物学的存在を作るような複雑なことが必要だとします。これには非常に高いエネルギーと計算需要があり、観測可能な宇宙の能力の限界を超えてしまうかもしれません。確かに、現実の世界や我々が達成できる未来において実現不可能な価値観はたくさんあるでしょう。なぜなら、例えば、任意に資源を必要とする選好を持つことができるからです。確かに、より多くの人を作れば、最終的には一人当たりの資源が不足します。有限の宇宙的遺産があれば、十分に大きな人口に対しては、マルサス的な状態になるでしょう。本の冒頭で重要な免責事項を述べていますね。これは本の内容や今回の会話にも当てはまりますが、ユートピアが外から見てどれだけ良く見えるかではなく、その中の個人にとってどれだけ良いものであるかということですね。そうですね。これらの問題にアプローチする際の一種のレンズの視点です。SF シナリオで探索するのにクールな未来はどのようなものかという視点と、実際に生きたい未来はどのようなものかという視点では、非常に異なる答えが得られると思います。質問をこのように提示すると、混同することは不可能ですが、現実には人々がこれらの未来について考えるとき、外部の視点からの直感を、本来あるべき以上に入り込ませてしまう人もいると思います。一般的に、自分の思考を、単に自分が受けた多かれ少なかれランダムな影響や読んだ文献の再現以上のものにすることは難しいです。人口倫理学などのより形式的な研究では、分析的な作業をすることができ、議論を重ねることで知的な漸進的進歩を遂げることは容易に見て取れます。しかし、価値観そのものに関しては、それについて意見を持つのは非常に難しいです。これらは多くの面で非常に主観的だからです。あなたのこれらのことに関する思考が、あなたの気分や特異な個性、あるいはたまたま育った特定の文化的環境を反映したもの以上のものであることを望むなら、それは難しいことです。一般的に、シグナルを持つ可能性は、異なる選択肢に自分の魂を遊ばせ、ある価値観の心の枠組みに入り込み、ある期間それを追求し、それで自分を満たすことを許容する程度に応じて高まると思います。そして、おそらく別の価値観でも同じことをします。単に言葉のレベルで操作したり、何か覚えている断片や意見調査などに基づいて操作したりしているだけなら、これらの究極的な価値の問題について、それが情報の問題である限り、より多くの情報を追加する可能性は低いでしょう。再び、超知能があなたのために全てを解決でき、必ずしも努力する必要のない急進的に豊かな世界にいるなら、競争の余地がないように感じます。基本的に、私たちは競争を宇宙から、そして人間が相互作用する方法から根絶しました。そして、競争は変化と進化を推進する大きな要因であることは明らかです。人々は意味を見出すために人為的な希少性を再導入し、本質的にゼロサムゲームの小さなポケットを作り出すことで意味を見出すと思いますか？はい、競争については、私たちは意図的にたくさんのことをしています。運動競技やコンピューターゲームの競争を作り出しています。確かに、正しい種類の競争を可能にするために人為的な希少性を生み出すことは、ユートピアの人々にとって明らかなことのように思えます。様々な形のゲームプレイと呼べるものでしょう。これらは狭い意味ではゼロサムかもしれませんが、より広い意味ではプラスサムです。例えば、二人がチェスをしている場合、狭い意味ではゼロサムです。一方が勝つ可能性が高くなれば、もう一方が負ける可能性が高くなります。しかし、より広い意味では、両者が楽しんでいて、より多くのチェスを学び、コミュニティに参加しているなど、両者にとってプラスサムです。柔軟な世界では、特定のタイプの活動を可能にするために、意図的に制約を構築する多くの機会があるでしょう。ちょうど、山登りをする人が、たとえ山頂までリフトがあったとしても、意図的にそれを使わないことを選ぶようなものです。さらに進んで、一度その位置に置かれたら実際に近道がないような状況に自分を置くかもしれません。例えば、携帯電話も持たずに岩壁にいる場合、実際にそれは生死に関わる問題になります。プラスチックの世界でも、実践的な理由で自分の道具的努力が必要になるような、これらのポケットを作り出すことができます。しかし、これらの種類の人為的な目的に加えて、私が呼ぶところの自然な目的、つまり意図的にエンジニアリングしたわけではない条件が、どの程度生活に構造を与えるのに十分であるかを問うこともできます。私は、現在の世界に浸透している最も明白で厳しい目的の多くは消えてしまうと思います。生計を立てるために働く必要はありませんし、健康を維持するために運動する必要もありません。これらの多くの目的がなくなります。しかし、私は、現在私たちが多かれ少なかれ気づいていない、より微妙な目的や価値が多くあると推測します。なぜなら、現在はもっと差し迫って緊急な問題があるからです。しかし、これらの緊急の叫びが静まれば、私たちはこれらのより微妙なささやきをより多く聞くことができるようになるでしょう。例えば、子どもが飢えているような状況では、様々な微妙な美的次元について懸念することは軽薄に感じるかもしれません。しかし、もはや飢えている子どもがおらず、がんになる人もおらず、政治的不正もなく、戦争の危険もないなどの状況になれば、これらのより静かな価値観が私たちの行動を形作る上でより大きな役割を果たすことは完全に理にかなっているでしょう。そして、これらの自然な目的が十分にあって、人間の存在に大きく制約を与え、形を与えるようになるかもしれません。あなたは、将来の目的の問題についてあまり心配しなくなった引用を述べています。「サッカーチームが得点を決めたときにシートから飛び上がる人の数は、国際機関が今年は昨年より10万人少ない子どもが予防可能な病気で亡くなったという報告を発表したときよりも多い」というものです。外部の視点から見れば、予防可能な病気の根絶の方が人々がもっと飛び上がるべきものに思えますが、そうではありません。この引用だけからも、人為的な希少性を作り出したり、非常に大きく見える他のものが出てくるかもしれない、これらの閉じ込められた宇宙を想像することは理にかなっていると思います。そうですね。明らかに、神経技術で簡単にそれを強化することができます。誰かの動機付けやドライブを調整して、この統計や他のランダムなゲームに巨大な関心を持つようにすることは簡単でしょう。確かにそれは可能です。

深いユートピアでチェックできるボックスを考えるなら、確かに快楽が重要なら、それは脳の快楽システムを操作するだけで簡単です。目的を感じること、動機を持つこと、朝ベッドから飛び出すような感覚、それが私たちが望むものなら、それも簡単な神経工学で確実に実現できます。つまり、問題は様々なことをする動機や衝動を作り出せるかどうかではなく、それらのことが何らかの意味で価値のあることかどうかということです。

これは別の一連の制約に戻ります。私たちは、最終的に限られた有限の資源のプールがあることに言及しました。そして、もし十分に大きな人口増加があれば、結局資源が不足するというのは一種の制約です。光速などの物理的制約もあります。また、技術的に可能であっても、道徳的に許容できないことを制限する道徳的制約もあるかもしれません。最も明白な分野の一つは、道徳的地位を持つ心を具現化する必要がある特定のタイプの技術的可能性があるかもしれないということです。例えば、誰かが他の存在と相互作用したいという好みを持っているとしましょう。しかし、その相互作用を完全にリアルにするには、その他の存在が意識を持つか、道徳的に重要な存在である必要があるとします。そうすると、最初の人の特定のタイプの相互作用をしたいという好みは、この理想化された状況でも満たせないかもしれません。なぜなら、それを実現する唯一の方法は、この他の存在が生まれ、そして苦しむか、その好みが侵害されるかもしれないからです。そして、ユートピアで達成可能なことを制限する、より微妙な道徳的制約があるかもしれません。少し話題を変えましょう。あなたは2014年に『スーパーインテリジェンス』を書きました。それ以来、AIの分野では多くのことが起こりました。2024年の今、10年後の現在、その本で提示した見解や信念に変化はありましたか？私たちはより詳細な終わりを持っています。広範な確率分布をより鋭くすることができます。明らかに、タイムスケールについてより多くの情報があります。特に、その一部はすでに展開されています。まだそれを手に入れてはいませんが、全体的に見て、タイムライン分布の短い方に向かっています。大きな驚きではありませんが、少し早くなっています。おそらく、遅いおよび中程度のスピードでの「テイクオフ」が、速いテイクオフと比べて少し信憑性を増したと思いますが、それを過大評価すべきではありません。なぜなら、ある一定のポイントに達するまでは非常に穏やかに見えるかもしれませんが、そこから知能爆発のような効果が得られる可能性があるからです。比較的短期間でこれがメインストリーム化された度合いは非常に印象的でした。この分野に新しく入った人々にとっては、これがいかに長年フリンジだったかを理解するのは難しいかもしれません。例えば、いくつかのSFや、インターネット上の一部の変わった人々の考えのようなものでした。そして今では、主要な最先端の研究所がこれについて明示的に取り組むチームを持っています。ホワイトハウスや英国のグローバルAIサミットなどの上級政策立案者からも、AIの変革的な影響について言及されるようになってきています。私たちがこの分野に参入したのは2015年頃でしたが、その時でさえ、人々と話すと、まだかなりフリンジでSFのようなものでした。選ばれた一部の人々の外では、機械学習に取り組んでいた人々でさえ、それらはクレイジーなアイデアだと考えていました。2000年代、あるいは90年代後半からこの分野にいたあなたの経験は想像もつきません。過去20〜25年間、あなたのグループ外の人々とAIの安全性について話す経験がどのように進展したか、少し聞かせていただけますか？おそらく、深層学習の初期の復活、特にAlexNetやDeepMindの初期の仕事、Atariでのブレイクスルーなどで少し変化し始めたと思います。しかし、その時点でもまだ非常にフリンジでしたが、過去20年と比べればマシでした。そして、私の本や同じ頃に出た他のものと共に、それは一種の初期の目覚めのようなものでした。朝の少し目が開いた状態のようなものです。そして今、最近では、目覚まし時計が鳴ったようなもので、人々は私たちが少し寝過ごしたことに気づき始めています。それはいつでも、あるいは数年以内に来るかもしれません。誰にもわかりません。私たちは準備ができているでしょうか？そして、今はみんなが急いでパンツを履き、歯を磨きながら走り、コーヒーを掴むような状態です。少しそんな感じです。AIに関しては最も劇的ですが、Future of Humanity Institute (FHI) が2005年に設立された当時に取り組んでいた他のトピックの範囲についても、かなりの程度そうです。当時は、例えば地球外生命の探索や、ナノテクノロジーの未来など、これらの大きな視野のトピックについて考えることができる学術界で唯一の場所のようでした。そして今では、多くの専門組織を持つ広範なエコシステムがあります。多くの概念がEA（Effective Altruism）運動や合理主義運動と共に採用され、より多くの人々がこれらのことについて有用で賢明な方法で考えることができるようになりました。あなたは数年前に「脆弱な世界仮説」を書きましたね。それはこのような議論を提示しています：人類が技術スタックを進めていくにつれて、異なる「ボール」を選び続けているようなものだと。各ボールは異なる技術を表しており、これらの技術のほとんどは素晴らしく、私たちの生活をより良くし、世界をより安全に、より豊かにします。しかし、時々非常に危険で、しかも使いやすい技術である「ボール」を引き当てるかもしれません。そして、力がより民主化されていくにつれて、私たちは実際に何らかの破滅的な事態に非常に脆弱な世界にいるかもしれません。この仮説を書いて以来、私たちが実際に脆弱な世界にいる可能性は上がりましたか、それとも下がりましたか？下がってはいません。少し上がったかもしれません。特に、より多くのタイプのシステミックな不安定性についてです。単一の技術や、多くの人々のインセンティブを再形成するような方法で動く技術フロンティアが、私たち人類が種として行うことのできる集団的思考やディスコースの種類に影響を与える可能性があります。異なる道筋を評価し、私たちがどのような社会を望むかについて。賢明なグローバルなディスコースを持ち、自己修正し、批評し、徐々に真実や善さに向かって前進する能力を持つことは、比較的脆弱なものに思えます。例えば、ソーシャルメディアプラットフォームの動作方法や、様々なセンサーやプロパガンディストが正統性を形成し強制するために使用する手段のいくつかの設定をほんの少し調整するだけで、誰が知るでしょうか、どのような新しい均衡が生まれるかを。したがって、そのような種類の「黒いボール」があるかもしれません。それらは比較的微妙なもので、地球を爆発させるような超核兵器のようなものではありません。それは別の種類の制約で、非常に破壊的なナノテクノロジーや生物兵器などがあり、これも進歩するAIと共に懸念されます。AIはこれらの用途に適しているかもしれません。しかし、それに加えて、これらのより微妙なシステミックな撹乱があり、もし私たちが運が悪ければ、現在私たちが持っている、全ての欠点にもかかわらず続いている、この準安定的な均衡を、より悪いものに転覆させる可能性があります。解決策については、論文の中で4つの異なる要因を挙げていましたね。予防、警察活動、そしてより機能的なグローバルガバナンスがより良く機能するだろうと示唆していました。しかし、最初の2つは差別的技術開発と、人間の強く異なる選好の減少だったと思います。これらについて何か更新はありますか？そうですね、これは複雑な形を一つの視点から見て、見えるものを記述しようとする良い例かもしれません。それがあなたが正しいと思う側面や、確実に唯一の側面だということではありません。この特定の論文に関しては、人々が私の考えを誤解したと思います。全体的な世界監視システムを確立することに熱心だと考えた人もいました。実際、私は一つのアイデアとして、人々が首の周りに着けられるもので、彼らが言うことすべてを記録し、周囲とその人の手の動きをカメラで記録するようなものを提案しました。私はそれを「自由タグ」と呼びました。読者にこのアイデアの皮肉を思い出させるためです。人々がそれを見逃す理由はわかりますが、指摘したいのは、論文の議論の中で、そのようなパノプティコン（一望監視施設）を設置することの明らかな恐ろしい欠点を指摘しています。しかし、人々はそれが少し舌を舐めるように、あるいはそれがいかにクレイジーかを示すために行われていることを理解しません。人々はそれを私が提唱しているものと見なします。私が問題にアプローチする方法は、多くの場合、「これがその物事の形です。私はあなたにこの物事を多くの側面から見せようとしています。この側面から見ると、これらのすべてのことが見えます。そしてこの側面からは、これらのことが見えます。」というものです。これはこう見るべきだという判断はしません。そして、この側面から最大限に説明したからといって、この側面が正しいと思っているわけではありません。しかし、現在多くの人々は、「結局のところ、あなたはどちら側にいるのか」という種類の欲望を持っています。単にその答えをあなたから引き出したいのです。書いたり考えたりしたことはありませんが、量子的重ね合わせで考えることについて何かがあると思います。これについては、Less Wrongの投稿か何かで書く必要があるかもしれません。つまり、異なる思考システムを自分の心の中で共存させ、それらの間で選択する必要性を急いで感じないようにすることです。最終的には、特定の質問が出てきたら、確率を割り当てたり行動したりする必要があります。しかし、特に哲学者や、より包括的な方法で物事を反省することが仕事である人なら、複数の世界観を心の中に保持する能力が重要です。文字通り同時にではないにしても、少なくとも1週間はこの見方で、次の1週間は別の見方で考え、そして徐々にそれらを融合させたり、一つを消えさせたりすることができます。しかし、すべてについて立場を急いで決める必要はありません。時には少し曖昧であったり、自己矛盾することさえあるかもしれません。それは、一貫して間違っていることを強制するよりも良いかもしれません。そうですね、ある意味でポーカープレイヤーの思考に似ています。ポーカープレイヤーは確率で考えることを奨励されます。誰かがブラフをしているかどうか確信はありませんが、異なる仮説を同時に心に保持しています。ただし、その後、実際に決定を下し、その重ね合わせを崩壊させるよう迫られます。そして、しばしばその結果を知ることになります。脆弱な世界仮説が正しければ、論文で言及しているように、2つの魅力的な状態があるように思えます。一つは、この無政府状態、つまり最終的に自滅するか、少なくとも破滅的な事態を引き起こす可能性のある潜在的な無政府状態です。そしてそれに対抗するためには、監視の強化と中央集権化が必要になるでしょう。しかし、それは当然、永遠に恐ろしい専制政治に陥る可能性を開きます。したがって、私たちに必要なのは、ある種の第三の引力状態のようなものです。おそらくダニエル・シュミッヒトバウアーをご存知だと思いますが、彼はこのポッドキャストの初期のゲストの一人でした。彼は、無政府的な世界と管理中心の世界の最良の部分を取り入れ、両者の欠点を最小限に抑えた第三の引力状態を見つける必要性について話しています。この種の第三の引力状態を見つけたり作り出したりする方法について、さらに何か考えはありますか。これらの監視や世界的ガバナンスは明らかに巨大な独裁的濫用の可能性がありますが、少なくともこれらが良い目的のために使われるのを想像することはできます。おそらく希望に頼るのではなく、むしろこれらの巨大な力と影響力のノードを制御する追加の構造を作り出そうとすべきでしょう。そうすれば、それら自体が他の機関に説明責任を負うことになります。例えば、人々の意志や、そのより反射性の高いバージョンのようなものに。警察や秘密警察などのあまり楽しくない機関ではなく。しかし原則として、これらは制御と力の道具であり、それらがどのように使われるかは、さらに別のパラメータとして組み込む必要があります。私は、そうですね...これらの社会システムを設計することは...制度設計のアイデアは興味深いと思います。予測市場はまだ少しフラストレーションがたまります。現代でさえ、遊び金を使った小さなものでしかフダフダしていません。これが、人類が操作に耐性のある方法で物事の確率を引き出すための最善のものなのです。これは単に、ノルウェー銀行のようなものが何かを作るべきです。年間100億ドルを基礎となる世界的ポートフォリオに投資して補助し、長期的な取引コストをほぼゼロに下げ、それを補助するのです。そして、異なる質問を予測市場に変換するためのプロセスを持つのです。人々がメッセージをねじ曲げたり歪めたりするのを全て断ち切ることができます。私たちが様々なことをした場合に何が起こるかについて明確な洞察を得たいのなら、単に巨大な世界的アップグレードを行うことができるように思えます。しかし、代わりに何か小さなオンラインプラットフォームでいくつかのトークンを得るだけです。予測市場で十分長く失敗し続けたので、問題は自然と解決されるかもしれません。最近、ジェイコブ・スタインハートの論文を見ましたが、ご覧になりましたか？彼はGPT-4をMetaculusの過去の質問、つまり解決済みの質問に使用していると思います。そして、実際にすでに多くの質問でMetaculusを上回っています。私たちはただ長い間とても下手だったので、一種のオラクル型AIが登場し、これらの質問のいくつかに答えることになるかもしれません。しかし、人々が実際にそれに注目し始めたら...それが実際に堅牢に機能すると仮定して、もし誰か真剣な人が注目し始めたら、政府がそれを使い始めたら、おそらく彼らはAIを変更して、政策立案者が聞きたくないことを言わないようにするでしょう。ああ、そうですね。予測市場の良いところは、正しくあることへのインセンティブがあり、それを歪めるのが難しいことです。市場に資金を投入して歪めることはできますが、基本的には正しい人にお金を与えているだけです。それは万能薬ではなく、他の方法で問題を引き起こす可能性もありますが、これを一つの例として挙げたのは、非常に真剣な努力がなされていないことが少し驚くべきことだからです。しかし、制度設計の素晴らしい計画があったとしても、それが実施される真剣な見込みがあれば、他の権力者が介入してプロセスを腐敗させたり、操縦したりする巨大なインセンティブを生み出します。誰も気にしていない小規模で機能するものが、必ずしも強力なアクターがそれを形作り始める場合には機能しないかもしれません。ですが、はい、私にはその解決策はありません。市場について話すと、防衛技術のような、従来の市場に好まれないものに市場インセンティブをより合わせることができれば、それは潜在的な解決策の一つになるように思えます。それは技術を過度に制限することでもなく、市場を制限することでもありません。それは人類が技術の壺からボールを引き続けることを可能にしますが、私たちはより多くの推進力を防衛技術に向けることになります。そうですね、基本的にあなたが指摘しているのは、もし何らかの方法で市場が差別的技術開発、つまり最初に防衛に偏り、その後でより破壊的な技術やより両用的な技術に向かうようにインセンティブを与えられれば...それは良いことでしょう。私たちがそこに到達できるかどうかはわかりませんが、例えば、バイオセーフティの懸念について私が持っていた希望の一部はそれでした。将来のエンジニアリングされたパンデミックの可能性について、もし私たちがずっと優れた防衛技術、より良い空気清浄、より良い抗ウイルス薬、実際に機能するワクチンを高速で持っていれば、多くの懸念を減らすことができるように思えます。そうすれば、潜在的に基本的に「ボール」の色を変えることができ、より白いボールに近づけることができるでしょう。確かに、それらは私たちがしたい簡単なものに見えます。同様に、技術的なAIの調整についても、それを加速できれば良いように思えます。新しいパンデミックに対する物理的な対策、個人用保護具やUV殺菌、継続的な環境モニタリングなど、それら全てが本当に素晴らしく思えます。同様に、他の分野でもそれができれば...それは全て良いことのように思えます。あなたはデジタルマインドについても多く考え、書いてきましたね。私がそれについて考えるとき、非炭素ベースの心が意識を持つことができるかどうか、あるいはそれらが道徳的に関連性があるかどうかという質問と、私自身または人間が異なる基盤で存在し続けることができるかどうかという、あまり明確でない質問の間に関連する区別があるように思えます。後者は個人的アイデンティティと連続性に関する質問を含むため、少し不明確になります。あなたはこれについてどのような立場をとっていますか？そうですね、異なる質問があることには同意します。私の推測では、両方の答えはイエスです。デジタル基盤上で道徳的に重要な存在を持つことができ、また原則的にあなたがデジタルマインドになることもできると思います。未来の技術で、一度に一つの神経細胞を同じ入出力機能を持つサイバネティック義肢に置き換えるような段階的な置換シナリオを考えると、あなたは何の違いにも気づかないでしょう。そして、その結果があなたではないと考えるのは難しいです。その見方に同意します。それは時々描写される非常に劇的な単一のアップロード瞬間とは異なります。また、これは一般的なことで、おそらくアイデンティティの連続性は、非常に速い速度で何かが起こるよりも、より遅い速度で起こる場合に想像しやすいでしょう。テセウスの船は、おそらくまだテセウスの船です。少しずつ交換されれば、それぞれの新しい板が互いに関係的なアイデンティティを作り出し、テセウスの船の一部としての関連性を持つようになります。対して、完全に置き換えられ、新しい板に決して「船らしさ」を与えなかった場合とは異なります。そして、元の船から取り除かれた板で別の船を作ったらどうなるのか、という問題も出てきますね。そうですね、人間の心がコピー可能になった場合に生じる個人的アイデンティティの多くのパズルがあると思います。デジタルか生物学的かということは、私はそこで最も重要な次元ではないと思います。私たちが知る限り、私たちはすでに非常にデジタルかもしれません。それはただ別のレベルのデジタル性になるだけでしょう。例えば、Minecraftのようなクラフティングゲームの中でコンピューターを作ることができます。そして、小さなMinecraftの人々が頭蓋骨の中に生物学的な脳を持っていたとしたら、彼らは「もし私たちの脳をつなげて、このMinecraftの世界内に作られたコンピューターに転送したら、それはとても異なるだろう」と考えるかもしれません。しかし、私たちの視点から見れば、彼らはすでにデジタル基盤上で動作しており、ただ一段階上がるだけです。それとは別に、意識的な心や道徳的に関連性のある心がデジタル基盤上に存在する可能性は、ほとんどの人にとってはるかに想像しやすいものです。多くの場合、それを妨げているのは、私たちが人間中心主義的に考えているからです。人々はAIを擬人化していると言いますが、私たちは意識の概念自体も擬人化していると思います。私たちのタイプの意識だけが道徳的に関連性があると仮定していますが、それは明らかに愚かです。全く異なる心であっても、依然として道徳的考慮を必要とする心を非常に簡単に想像できます。参考までに、私は意識が道徳的地位に必要ではないと考える傾向があります。それは十分条件かもしれません。確かに、意識的に苦しむことができれば、それは何らかの道徳的地位を与えるでしょう。しかし、あなたを特定の方法で扱うことが間違いであるような、別の属性があるかもしれません。しかし、意識の概念は一見非常に明白に思えるかもしれませんが、より詳しく見ると、それが様々な方法で曖昧で多次元的であることに気づくでしょう。その洞察に至る方法はいくつかあります。神経科学や哲学的な考察を通じてそこに到達することもできますし、多くの瞑想をしてきた人々も、主観的な道を通じて同様の認識に至ることがよくあります。私たちは意識的な生活について、それが完全に詳細にわたって連続的で、常にそこにあり、何が起こっているかを知っているという、ナイーヴな認識を持っています。しかし、より注意深く観察すると、それがそれほど明確ではないことに気づきます。複数の異なる次元で意識の程度があるかもしれません。普通の経験は、はるかに断片的で、部分的で、途切れ途切れかもしれません。あなたが意識していると思っているほとんどのことは、実際には意識していないかもしれません。そのような認識に至ると、奇妙な形や種類、部分的な種類の意識を想像するのがより簡単になります。人工的な基盤を含めて視野を広げると、意識という言葉が適用されるかどうかさえ明確でない境界線上のものも含めて...そうなると、明確な客観的な答えがある二項対立ではなく、むしろ可能性の豊かな空間になります。そうですね、だからといって岩に突然道徳的価値が生まれるわけではありませんが...岩については確信が持てませんが、ある種の砂については...そうかもしれません。そうですね、その通りです。皆さん、聞いてくださってありがとうございます。ニックには貴重な時間を割いて話してくれたことに大変感謝しています。可能であれば、ショーノートをチェックして、私たちが言及した論文、特に「脆弱な世界仮説」を読んでみてください。これは非常に重要な論文で、私たちの技術的能力が向上するにつれて、ますます関連性が高まっているように思えます。また、冒険心旺盛で、特に大きな未来の設計について考えている方は、ニックの新著『深いユートピア』をチェックしてみてください。聞いてくださってありがとうございます。もし楽しんでいただけたなら、友達にも教えてください。また次回お会いしましょう。