デビッド・シャピロはPauseAIを理解していない | リロンの反応

ドゥーム・デベーツへようこそ。私はロン・シャピラです。今日はデビッド・シャピロに反応します。彼は昨日、「AIを一時停止するのは驚くほど悪いアイデアだ、その理由はこうだ」というYouTube動画を投稿しました。私はこれまでデビッド・シャピロについてあまり調べていませんでした。彼はAIオプティミストで、数年前からYouTubeチャンネルを運営しており、15万8000人の登録者がいるようです。かなり影響力があると思います。今回はこの動画を他の文脈なしに、そのまま見ていきます。そして私は「はい、AIを一時停止すべきです。一時停止しましょう。それは驚くほど悪いアイデアかもしれませんが、私たちが持っている選択肢の中では最良のものです」という立場で議論していきます。それでは、デビッド・シャピロの動画を見ていきましょう。
これはエラザー・ユドコウスキーです。彼自身のタグラインにあるように、元祖AIアラインメントの人物です。彼はTEDの舞台に立ち、基本的に「超強力なAIが全人類を殺すのを避ける方法はない」と言っています。時が経つにつれ、私はこのメッセージに懐疑的になってきました。しかし、私が指摘したいのは彼の名前の横にある小さな停止アイコンです。名前の横に停止シンボルまたは一時停止ロゴの絵文字を付けている人々の運動があります。これはすべて一時停止運動の象徴です。そうです、AIの一時停止、あるいはAiの一時停止と言うべきでしょうか。これについてもう少し詳しく話しますが、まずエラザーについてもう少し時間を割きたいと思います。
彼は非常に尊敬されている人物で、TEDの舞台に立っていますが、彼自身の認めるところによると、数学やコーディングについてあまり詳しくないようです。いいえ、彼は数学とコーディングについて十分に知っています。私は自慢したくありませんが、実際にUCバークレーでコンピューターサイエンスの学士号と数学の副専攻をほぼ取得しました。私の観点から言えば、エラザーは本当に数学に精通しています。彼は実際にメタ数学の分野で論文を発表しており、形式論理学の分野でレーベルの定理とゲーデルの業務の拡張に関する論文を書いています。これは大学院レベルの内容です。私自身もこの分野の大学院レベルの授業を取りました。私がよく知っている分野です。個人的な見解として、真剣な数学をかなり理解している者として、エラザーを見上げています。彼は私よりもはるかに高度な数学を知っています。彼がテレンス・タオのような最大の数学の天才だと言っているわけではありませんが、AIの議論に参加しているほとんどの人よりもはるかに多くの数学を知っていることは確かです。
彼が書いた解説は、私がこれらの複雑な数学の主題を再学習するのに役立った、最も明確な解説です。エラザーについて「彼自身の認めるところによると、数学とコーディングについてあまり知らない」と言うのは、彼を過小評価しすぎています。申し訳ありませんが、そうではありません。これは本当に悪いスタートです。
そして、AIが全人類を殺すだろうという結論に至った彼の決定フレームワークは、基本的に彼自身の論理です。デビッド・シャピロさん、私はあなたの議論を聞いたことがありません。これがあなたのコンテンツを見る初めてですが、あなたが最初に出してきた議論は、エラザーが「自身の論理」を使ってAIリスクの議論をしているというものです。なぜなら彼は「数学やコーディングについてあまり知らない」からだと。これは議論を始めるのに悪意のある方法のように思えます。しかし、続けてください。
現代の哲学には、認識論的または存在論的な根拠は必要なく、純粋な論理だけが必要だという運動があります。
兄弟よ、エラザーが書いた「Less Wrong」という巨大なシリーズがあります。そのタイトルは「初心者のための高度な認識論101」です。素晴らしいシリーズですよ。あなたはここでエラザーが認識論的または存在論的な根拠を必要としないと非難していますが、「Less Wrong」には明示的に認識論的および存在論的な根拠を教える膨大な投稿があります。あなたはどの惑星から議論しているのですか？もしかしたら良い議論を展開しようとしているのかもしれませんが、あなたが議論している相手についての最も基本的な事実につまずいています。これらはエラザー・ユドコウスキーについて正確な発言ではありません。少し調査をしてください。
彼の作品をいくつか読んでみると、そうですね、彼は優れた合理主義者で、言葉を使って議論を構築するのが上手です。
すごいですね。彼を言葉を使って議論を構築することしかできない人物として枠にはめていますね。言葉を使って議論を構築することしかできないなら、確かに...しかし、根拠なしでは、基本的には「私を信じてください、私は想像力を使いました」というようなエネルギーです。
わかりました。より良い根拠を聞くのを楽しみにしています。
そして、覚えておいてください。私はAIの安全性の問題を非常に真剣に受け止めていた人間です。それについて本まで書いたことがあります。しかし、時間が経つにつれ、AIの安全性についての懸念は薄れてきました。悪者は人間です。私たちが作る機械ではありません。今日のAIができることを見ると、それは特に脅威ではありません。そして、AIが将来できるかもしれないこと（「かもしれない」という言葉に強調を置いてください）を予測しても、AIが全人類を殺すだろうと言うためには、多くの仮定をしなければなりません。
AIを一時停止すべきでしょうか？結論から言えば、いいえです。
反論：はい、すべきです。
私が言及しているのは、2023年3月22日に未来生命研究所から発表された「巨大AIの実験を一時停止せよ」という呼びかけです。つまり、1年半前のことです。これはマックス・テグマークらによる画期的な手紙で、基本的に6ヶ月の一時停止が必要だと述べています。もちろん、その6ヶ月の期間は過ぎてしまいましたが、人々がそれを乗り越えると思っていました。一時停止して何を達成するのか...しかし、人々はまだそれを求めており、私は「なぜ人々はまだそれを求めているのか」と思っています。
6ヶ月の一時停止の手紙について聞いた最良の正当化は、事前にこのアラームを鳴らすことができ、実際にAIを一時停止させることができることを証明する必要があるというものです。なぜなら、今日がAIを一時停止すべき日だと思うか、より強い警告が必要だと思うかに関わらず、もしかしたら私たちはAIを一時停止することは決してないかもしれません。しかし、もしAIが本当に怖いことをしたら、いつかAIを一時停止する必要があるかもしれません。AIを一時停止する必要がある場合に、AIを一時停止できることを示す必要があります。なぜなら、それが問題だからです。現在、私たちはAIを一時停止する能力、調整、技術的システムなしに前進しています。世界中でAIを一時停止し、さらなる研究を防ぐことができません。
私たちは暗い洞窟に歩み入っていますが、AIを一時停止する能力がありません。ブレーキのない車を持っているようなものです。ステアリングホイールもブレーキもなく、アクセルだけがある車です。そして、6ヶ月の一時停止は象徴的な警鐘であるべきでした。「皆さん、今6ヶ月間一時停止したくないかもしれませんが、計画はあるのですか？もし計画がないなら、慎重になるべきかもしれません。そして、慎重になるということは、今6ヶ月間一時停止することから始まるかもしれません。結局のところ、今まさにブレークスルーがあったのですから」
GPT-4の時期でした。だから、なぜ私たちは今持っている言語モデルを研究しながら、今AIを一時停止するためのインフラを構築しないのでしょうか。これがすべて少し象徴的であることは同意します。世界で最も合理的で功利主義的な行動として6ヶ月間の一時停止をするわけではありません。わかります。少し荒いです。これが理想的な計画や提案だとは言っていません。
6ヶ月の一時停止の手紙の直後に来たものは、実際にもっと率直で大きな勝利だと思いました。未来生命研究所からの6ヶ月の一時停止の手紙の直後に来たのは、AI安全センターからのダン・ヘンドリックが主導した1文の声明だったと思います。それは単に「AIは核戦争の心配と同様に心配すべきリスクである」と述べただけでした。そして、その1文の声明に主要な署名者が集まりました。
もしその声明がそれほど大きな成功を収めることを知っていたら、未来生命研究所はおそらく6ヶ月の一時停止の手紙にそれほど力を入れなかったでしょう。私たちはAIを一時停止する運動として、AIを心配する様々な組織として、足場を固めている途中だったのだと思います。注目を集めるための一つのことでした。そして、それについて改善していく必要があると思います。これが6ヶ月の一時停止の手紙についての私の見解です。
人々がまだそれを求めている理由について、かなり強い推測があります。それについては後ほど少し話します。しかし、私が言いたいのは、1年半が経過しているのに、人々はまだ一時停止アイコンや停止アイコンを付けています。まるでこの一つの解決策が魔法の弾丸であるかのようです。
はい、私たちはまだAI開発を続けている毎日が、アトラクター状態、つまり引き返せない点に向かって突進している日だと考えています。そして、私たちはすでにそのアトラクター状態を過ぎている可能性があります。つまり、たとえ私たちがAIを一時停止しようとしても、すでに遅すぎるかもしれません。
例えば、道路が氷っているような状況を想像してください。「心配しないで、崖の端が見えてきたらブレーキを踏むから」と言っているようなものです。しかし、私たちはすでに下り坂で滑りやすい氷の上に乗ってしまっているかもしれません。今ブレーキを踏んでも遅すぎるかもしれません。あるいは、氷が始まっているところかもしれません。だからこそ、ブレーキを踏む必要があるのです。なぜなら、崖の端に行く前に実際に止まれるかもしれないからです。
これが私たちが今プレイしているような問題です。または、命がけのシャッフルボードゲームをプレイしているようなものです。端に近づけば近づくほど、実際にはより良いのです。より良い技術、より良い医療、より良いゲーム、より良い工場を持つことができます。ですので、できるだけ端に近づきたいのですが、越えてはいけません。しかし、もし越えてしまったら、得られる負の効用は、得られた正の効用の総和をはるかに上回ります。何桁も上回るのです。これが私たちが今プレイしているゲームの形です。
ですので、デビッド・シャピロが「なぜこの狂った人々は6ヶ月間AIを一時停止できなかったのに、今になって一時停止したがっているのか」と驚いているのは、私にとっては奇妙に思えます。「わかりました、氷の上を運転し続けてください。それが賢明な選択だと思います」と言っているようなものです。彼らの立場が理解できません。彼らが私を不思議に思うのと同じくらい、私は彼らを不思議に思います。
一時停止に賛成する主な議論は、これが安全性と制御メカニズムを実装する方法になるというものです。しかし、私たちは介在する18ヶ月の間に安全性と制御メカニズムを実装することができたはずです。彼らはまた、安全性と制御に関して全く進展がなかったかのように振る舞う傾向があります。彼らはまた、倫理について立ち止まって考えることを望んでいます。ちなみに、私が説明欄に入れる機械倫理の本が2冊あります。1つは「Weapons of Math Destruction」で、もう1つは...今思い出せません。とにかく、規制フレームワークを実装し、社会的影響に対処し、権力のダイナミクスに対処することを望んでいます。しかし、これらのいくつかはそうですね、時間が経てば解決するでしょうが、繰り返しになりますが、AIが何をするかについて多くの仮定をしなければなりません。
AIを一時停止することを提唱する際、私はこの複雑な要因の組み合わせのためではありません。それは本当に私が説明した単純なビジュアルです。氷の道があり、それがどんどん氷っていきます。崖の端があります。私たちは命がけのシャッフルボードゲームをプレイしています。いつ止まれるかわかりません。知能がどのように機能するかわかりません。AIがどれだけ賢くなるかについて、みんな驚いています。今年AIができるようになることを誰も予測していませんでした。誰も自信を持って2年後、5年後、10年後にAIができるようになることを予測していません。私たちは未知の領域に踏み込んでいます。そして、やり直しボタンはありません。「おっと、もう一度試してみよう」「次のイテレーションを試してみよう」というようなことはできません。
私たちのどの者も、このような技術を構築する直感を持っていません。これは私たちが構築した他の技術とは類似していません。私たちは、技術を作った創造者たちを文字通りあらゆる面で凌駕する技術を構築したことがありません。これが私たちが向かっている先です。このように説明すると、かなり明らかですよね？複雑にする必要はありません。だからこそ、私はAIを一時停止したいのです。
残念ながら、「今日AIを一時停止したい」と言わなければならないのは不幸なことです。なぜなら、今日はまだ良い状態に感じられ、今日の時点では誰かを殺しているようには見えないからです。そして私も同意します。今日は良い状態にあります。しかし、ハッカーがどれくらい早く今日の状態や来年の状態からAIを進化させることができるのか、私たちにはわかりません。その氷がどれくらい早く滑りやすくなり、下り坂になるのかわからないのです。わからないのです。
だから今日、スーパーインテリジェンスの爆発、つまり制御不能な状態まで、おそらく1、2、あるいは3十年しかないように見えません。だから今ブレーキを踏むのは、少し余裕があるかもしれません。あるいは負の余裕があるかもしれません。わかりません。しかし、次の兆兆兆年を潜在的に保存したいのであれば、ある程度の余裕を犠牲にしなければならないと思います。10年間、あるいはそれ以上を犠牲にしなければなりません。残念ながら、完璧なタイミングで調整することはできません。これが私のAI一時停止の議論です。
もう一度言いますが、私が言おうとしているのは、これは自然な実験だということです。あなたはすべての予測と予言と論理的な議論と合理的な議論を使うことができますが、実際のデータを持つまで、実際のデータがあるまで、影響がどうなるかわかりません。ある時点で、ただ見つけ出す必要があります。これは、どんどん強力になっていく魔法の呪文のようなものです。次に魔法の呪文のスケールを上げて何かを召喚したときに何が起こるかわかりません。わかりません。ただ見つけ出す必要があります。もしかしたら世界の終わりかもしれません。見つけ出しましょう。
これは、特に西洋社会が立法に対してより反応的なアプローチを取ってきた理由の一つです。ヨーロッパは立法と規制へのアプローチにおいてより先見的であることは認めます。しかし同時に、私たちはまだ証拠ベースとデータベースの議論を持つ必要があります。一時停止運動が大部分合理主義者の議論ベースであることは、実際にそれを大きく弱体化させています。データが必要です。フレームワークにモデリングが必要です。
彼はここで合理主義者がどのように議論するかについて、一連の非難を投げかけています。この場合、彼は私たちが証拠とデータを使用せず、合理性というこの第三のタイプのものだけを使用していると言っています。以前、彼が合理主義者を非難した言葉は、私たちが認識論に基づいていないというものでした。それは事実に反していると指摘しました。エラザー・ユドコウスキーは彼が使用している認識論について広範囲に書いているからです。
この場合、彼が「証拠とデータを使用していない」と言っていることに対処させてください。これは数ヶ月前にタイラー・コーエンが発表した記事と似ているようです。「研究論文はどこにあるのか？」「議論はどこにあるのか？」「なぜフォーラムでしか議論せず、主流ではないのか？」と。これも事実に反しているように思えます。
どんなジャーナルにも、たくさんの研究論文があります。論文を見ることができます。今や私たちには資格があります。これらの一時停止の手紙に署名している人々を見てください。ジェフリー・ヒントン、ヨシュア・ベンジオ、2人のチューリング賞受賞者がいます。サム・アルトマン、ダリオ・アモデイもいます。ほとんどのトップAIラボのリーダーたちが脅威を認めています。資格ゲームをしたいのであれば、どれだけ繰り返さなければならないのかわかりません。資格ゲームでは素晴らしい成績を上げています。高い資格を持つ終末論者がたくさんいて、さらに多くの人々が現れ続けています。
議会には終末論者の上院議員がたくさんいますよね。産業界の大物たちもAI終末論者だと言いました。そしてもちろん、世界の大多数の人々がAI終末論者です。だから、一部の人々が私たちを「合理性だけに基づいて議論する人、地下室にいるオタクだけが終末論者になるかもしれない」と枠にはめようとするのは面白いです。実際には、終末論者のように見える人々の大多数を見ているのです。「これが終末論者の姿だ」というTシャツが必要です。それを皆に着せたいです。
しかし、もう一つのポイントがあります。「証拠はどこにあるのか？まだ起こっていないことについて、どうやって証拠を持つことができるのか？」と言いたいのであれば、終末はまだ起こっていません。あなたの証拠はどこにあるのでしょうか？これが、合理主義者が証拠が何を意味するのかについての全体的なフレームワークを持っている理由です。デビッド・シャピロは、証拠の正式な定義をすぐに言えるでしょうか？私にはできます。もしかしたら彼にもできるかもしれません。仮定はしたくありません。
証拠の正式な定義は、ある仮説が他の仮説よりも良く説明するものです。文字通り、他の仮説よりも高い事前確率を置くという意味です。少し複雑になってきましたが、考え方はこうです。世界を説明する可能性のある10の異なる仮説があるとします。世界を圧縮する可能性のある10の競合する仮説があり、それらはすべて特定の世界の状態の予測確率を出すことができます。
例えば、あなたがある部屋の電気をつけようとしていて、それらの仮説がすべて部屋で異なるものを見ることを予測しているとします。1つは部屋に多くの金があることを予測し、もう1つは虎がいることを予測します。それらはすべて異なる予測をします。そして、電気をつけると2つの金の塊が見えたとします。彼らが2つの金の塊を見るという正確な状態に到達した確率が高いほど、あなたはその後、尤度比と呼ばれるものを掛けて更新を伝播させます。基本的に、その現実が起こると言うのに最も良い仕事をした仮説の重みを再付けします。それはほとんど予測市場のようです。
証拠を定義し、それを仮説に伝播させる正式な方法があります。そうすれば、より正確な信念を前進させることができます。これはベイズ更新と呼ばれ、正式な構造です。人々が私たちには証拠がないと非難してくる時、私は先週のサイモン・カーパーのエピソードでこれを徹底的に扱いました。そのエピソードを見ることをお勧めします。
彼らは通常、証拠の素朴な頻度主義的定義について話しています。「世界が終わった最後の10回はいつですか？世界の終わりの連続を見せてください」そして、「世界が終わった回数を数えて、分子と分母を取ってください」というような非常に素朴なものです。これは超素朴です。私は多くの理由を挙げました。例えば、感謝祭用に飼育されている七面鳥になることができます。一年間屠殺されなかったのに、その後屠殺されるかもしれません。だから、屠殺されなかった365日の証拠があっても、屠殺されたときには完全に無意味です。素朴な証拠には根本的に何か問題があります。
証拠の実際の定義は、「あなたの仮説を見せてください、そしてそれらが世界の状態を予測するのを見せてください」というものです。私がAI終末論者である時、私の仮説は技術が非常に速く進歩し、AI企業が多くのお金を稼ぐだろうと予測します。なぜなら、私のモデルには、知能がある種の一般的なものであり、ある閾値を超えると一般的になるというモデルが含まれているからです。だからこそ、多くの一般的に有用なタスクを行うことで多くのお金を稼ぐことができるのです。これらは私のモデルの詳細であり、世界が終わる前でも、私のモデルにベースポイントを与え、尤度を与えます。なぜなら、私が見ている現実の記述を効率的に説明するからです。
世界が終わっていなくても、モデルが点数を獲得することは可能です。実際、それが唯一可能なことです。宇宙全体が破滅するという素朴な頻度主義的証拠を持つことは決してできないでしょう。
とにかく、デビッドの「合理主義者はデータと証拠を使用せず、合理性だけを使用する」という正確な引用を低レベルな攻撃だと考えました。それは悪く言い表されており、不正確で、低レベルな攻撃です。ほとんど人身攻撃に近いです。
しかし、昨年サム・アルトマンが議会に行って「ええ、私は全員を殺すかもしれません」と言ったのは、そのレベルの信憑性でした。しかし、時間が経つにつれ、過去18ヶ月の間に、この全ての運動は、私たちが予言したすべてのことが実際に起こったということを示す多くのものを生み出すことができませんでした。そして、それは予言です。予言は未来に起こることについての信仰ベースの予測です。それはほとんど実現していません。
「信仰ベース」というのは本当に低レベルな攻撃です。この時点で、あなたは基本的にロン・シャピラ、AI終末論者であるあなたは信仰を使っていると言っているのと同じです。あなたは理性に基づいた会話をしようとさえしていません。彼の存在論を理解しようとしています。なぜなら、彼はデータと証拠と合理性の間に区別を付けようとしましたが、それは根拠がありません。でも「信仰ベース」だと？これはデビッド・シャピロの哲学的宇宙です。彼の区別を理解しようとしていますが、かなり混乱しています。ただ、彼は低レベルな攻撃をしているのだと思います。彼は真剣な議論から自分自身を失格させるところまで来ています。
彼らはこの予言を支持するさらなる証拠を提供することができませんでした。あなたは何を根拠に、終末論者がさらなる証拠を提供していないと言っているのですか？世界が終わるという証拠を終末論者が提供したとしたら、あなたにとってそれはどのように見えるのでしょうか？
ソーシャルプルーフだけを見ても、私たちは常に進歩しています。オーバートンウィンドウはAIの終末について議論できるようになる方向にどんどん動いています。ホワイトハウスの報道官がこれをより真剣に受け止めているのを見ました。1年前には人々が笑っていたクリップがありましたが、今では人々はそれほど笑っていません。真剣な表情を保っています。そして今、議会でSP 1047が成立しました。真剣な法案が進行しています。定期的な議論になっています。抗議運動も徐々に勢いを増しています。
ソーシャルプルーフの観点から見ると、ボールは確実に転がっています。確実に後退していません。問題は薄れていません。むしろ強くなっています。もちろん、ソーシャルプルーフがAIの終末を信じるべき理由だとは決して言いません。それがドゥーム・デベーツでやろうとしていることではありません。しかし、それは一つの側面です。もし私たちが終末を迎えないのであれば、ソーシャルプルーフが逆方向に向かっているのを見ることは、非終末論者に有利な点になるでしょう。完全なノックダウン議論ではないにしても、一つの証拠になるでしょう。
しかし、実際の観察について話しましょう。モデルが良くなっているのを見ています。数学オリンピック（IMO）で銀メダルを獲得したという観察がありました。これは文字通り、エラザーとポール・クリスティアーノが非公式な賭けをしたことです。ポール・クリスティアーノは4%の確率だと言い、エラザーは16%の確率だと言いました。それは小さな違いでしたが、彼らが予測の違いを比較できた唯一のものでした。そして今、エラザーの方が正しいことが証明されつつあります。彼は金メダルではなく銀メダルと言ったかもしれませんが、ポイントは、これが観察の種類であり、証拠が現れる場所だということです。
終末論者が年ごとに起こると言っていることと、非終末論者が年ごとに起こると言っていることの違いを見てください。終末論者はあまり多くのことが年ごとに違って起こるとは言っていません。これらの予測は実際に難しいのです。年ごとのこの微妙な違いを作るのは難しいです。なぜなら、終末論者が主張するほとんどのことは条件付きの予測だからです。もしAIが超知能になり、世界をよりよく操作できるようになったら、つまり、物理的宇宙のドメイン上で最も賢い人間よりもうまく戦略を立てられるようになったら、その状態に到達した場合、私たちは終末を迎えるだろう、というものです。
これはif-thenの関係です。問題は、私たちはそのifを持っていないということです。私がここであなたと話している理由は、私たちがそのifを持っていないからです。そのif条件が満たされた瞬間、インターネットはシャットダウンし、私は残念ながらドゥーム・デベーツのエピソードを作ることができなくなるでしょう。だから、前提条件が満たされる前の世界を見て、「終末論者は正しいのか？彼らは正確な予測をしているのか？」と判断するのは難しいのです。
だからこそ、エラザー・ユドコウスキーとポール・クリスティアーノ（ポールは非終末論者側を取りました）は、「AIはそれほど速く進歩しないので、今後数年でIMOに勝つことはないだろう」と賭けたのです。そして、エラザーはそうなると言いました。現在、現実はエラザー側に傾いているように見えます。これはほんの小さな証拠にすぎません。
私たち終末論者にとって、AIが超知能になったときに終末を迎えるという前提条件が満たされる前に、これらの超経験的なテストを行うのは難しいのです。なぜなら、それが私の最も強い予測だからです。それが私にベースコインを与えることができる最も強いものです。
だから、もし本当に私が間違っていることを証明したいのなら、もし本当に現実がロンは間違っていると言いたいのなら、AIが超知能になり、あなたが望む未来の状態を入力すると、AIがそこに到達する方法を教えてくれるような点に到達させてください。そして、人類のために世界が終わらないようにしてください。もちろん、これは高いハードルですが、それが本当に私を納得させるでしょう。
だから、もし20年後にここで話していて、私がドゥーム・デベーツのエピソードを録画していて、AIがこれらの本当に良い計画を立てることができるようになっていて、人間が「わあ、私はその計画を思いつかなかった。それは素晴らしい計画だ。それは素晴らしい軍事計画だ。それは素晴らしい科学的計画だ」と言うような状況になっていて、AIがそこまで到達できて、私たちがまだそこで話をしているなら、その時点で私は少なくとも「私は100%間違っていたわけではないかもしれないが、非常に間違っていた」と言う誠実さを持っていることを願っています。
私の最も重要な予測の一つ、私の最も確固たる予測である「私たちは超人的なプランナー、超人的な目標達成者を生き延びることはできない」という予測が、そんなにも明らかに間違っているなら、私はここに来て、それを認める誠実さを持っていることを願っています。話題を変えようとするのではなく、「これは大きな更新です。私が議論していた多くのことは、完全に的外れでした」と言う誠実さを持っていることを願っています。
しかし、2024年の今日、デビッドが「終末論者は証拠を提供していない」と言っていることが理解できません。私たちは少しずつ、ここかしこで証拠を見ています。例えば、AIを訓練すると、予想通り人間を操作する方法を考え出しました。なぜなら、人間を操作することは論理的にAIがすることだからです。
「ドゥーム証拠」がどのように見えるのか、「ああ、世界が爆発し始めた」以外に、彼は何を期待しているのでしょうか？彼が期待していることがわかりません。そして、彼は厳密ではありません。「見てください、すべてが素晴らしく、終末論者は終末を予言していますが、世界は終末を迎えていません。だから終末論者は信仰を持っています。そして、世界の終わりについて話している人はみな宗教的でなければなりません」と言うのは非常に簡単で、低レベルな攻撃です。これはゴミ箱漁りのようなものです、デビッド。
さて、賛成または反対の議論について話しましょう。私は一時停止の議論に公平なチャンスを与えるために最善を尽くしていると感じています。
あなたが「これは予言です。予言は未来に起こることについての信仰ベースの予測です」と言った部分は、あなたが最善を尽くしたのですか？私はその部分を公平なチャンスとは呼びませんが、とにかく続けましょう。
しかし、一時停止の議論に反対する議論について話しましょう。第一に、それは強制不可能です。一時停止の議論の支持者でさえ、「ええ、これは非常に効果がありません。強制することは不可能です」と言いました。彼らはそれを誇張の意味で行ったことを知っています。
完全に強制不可能というわけではありません。アイデアは、私たちがそれに取り組み始め、最善を尽くし始めるということです。GPUと一緒に無線受信機チップを組み立て始めます。何かをします。監視と制御を試みます。それを違法にして、それを強制しようと最善を尽くします。
最初から、法律を守りたい、犯罪者になりたくない多くの人々を怖がらせます。そして、はい、イデオロギーを信じているために犯罪者になる意思のある人々はまだいるでしょう。だから、90%減らすことができるかもしれません。そして、最後の10%と戦うのは難しいかもしれません。しかし、アイデアは、少なくともそれが私たちに数年の時間を買ってくれるということです。
はい、それだけでは十分ではありません。おそらく私たちはまだ運命づけられているでしょう。しかし、残念ながら、超知能AIが人類を殺すと考え、同時に超知能AIを防ぐのが本当に難しいと考えるなら、解決策は単に諦めて超知能AIに超知能になってもらうことではありません。
マックス・テグマークがそれを書いたと思います。誤解しないでください。マックス・テグマークには非常に敬意を払っています。彼の本「Life 3.0」を読み、あらゆる点で彼に同意します。しかし同時に、グローバルな一時停止運動は物理的に不可能です。私たちはイランに核反応炉の建設を止めさせることさえできません。北朝鮮への情報の出入りを制御することさえできません。グローバルな一時停止運動を作ることなんてできっこありません。それは起こりません。
国際社会が核拡散を止めるために行ってきた努力は、基本的に私が成功事例と呼ぶものです。成功事例に最も近いものを指摘できるのは、核のドゥームのリスクがまだ非常に高いにもかかわらずです。私の意見では、1年に1%程度です。それでも、それがさらに高くならなかったことは大きな成功だと思います。
核拡散が続くことを許していたら、リスクは年に数パーセントになっていたかもしれません。そして、イランが今核兵器を手に入れようとしていることは、もし彼らが最後までやり遂げたら、ひどいことです。非常に不安定化させると思います。
それを指摘して、「見てください、私たちはこのことでほとんど全滅しそうです。どうやってこのこともまた全滅を避けられるでしょうか？」と言うのは...わかりません。ただ試みなければなりません。私は同意します。ひどい状況です。しかし、運命が起こるのを許すことの方が良いわけではありません。私たちは本当に苦しい立場にいます。私たちは与えられた手札に対処しなければなりません。そしてそれはひどい手札です。
では、手札がひどいことに気づいただけで、どうしてあなたは終末論者ではないのでしょうか？そして、実行不可能で効果のないものを主張し続けると、それは時間とエネルギーの無駄です。たとえ私たちが自分自身をコントロールできたとしても、ブレーキをかけたとしても、それは完全に最適ではない戦略です。
一つの国が一時停止すると、他の誰も一時停止しません。彼らは「ああ、そうか」と言うでしょう。彼らはナポレオン・ボナパルトの言葉を思い出すでしょう。「敵が間違いを犯しているときは、邪魔をしてはいけない」というものです。だから、誰も「ああ、そうだ、一時停止するべきだ」とは言いません。これが、EUでさえ、イギリスでさえ、アメリカでさえ、どの国の国家元首も国務省も「ああ、そうだ、一時停止は良いアイデアだ」とは言わない理由です。なぜなら、地政学的な観点から見ると、それは驚くほど悪いアイデアだからです。
この全く同じ議論を、核拡散を止めることは不可能だと言うことに適用できます。国に止めるように言うたびに、彼らはあなたを無視し、できるだけ多くの核兵器を作るべきだと気づくでしょう。そして、確かにそこには真実があります。しかし、結局のところ、あなたはまだ試みるのです。そして、私たちはある程度成功してきました。そして、それは試みないことよりもはるかに良かったのです。「よし、試みないことにしよう。誰でも核兵器を持てるフリーフォールだ」と言うのと比べれば、ひどいアイデアです。核戦争のリスクはさておき、核事故のリスクについて考えてみてください。
AIの場合、明らかなゲーム理論があります。各国が、もし終末論者の議論をもう少し理解できれば、「ああ、これは誰が作っても死をもたらすものだ」と気づくでしょう。確かに、私たちは研究を少し進めることができ、医師がより良い診断をすることができるでしょう。短期的なAIを持つことはできます。しかし、AGI、超知能AGIに到達した瞬間、私たちは全員運命づけられます。私たちは勝つことはできません。実際に戦争に勝つためにそれを使うことはできません。私たちは全員運命づけられ、AIが勝ち、人類が負けるのです。
もし彼らがその視点を見ることができれば...それが議論の核心です。もしあなたが私の前提、つまり私たちは全員運命づけられているという正しい推論を受け入れるなら、ゲーム理論はそれを作るべきだとは言っていません。ゲーム理論は、皆が逃げなければならないと言っています。私たちは皆、一緒にいるのです。
現代の核戦争に勝つことは不可能です。マルチメガトン級の核兵器を使った現代の核戦争に勝つことは不可能です。全員が運命づけられます。風が放射能を吹き飛ばします。全員の作物が失敗します。核戦争の後には...良いシナリオではありません。そして、AIの終末も同じことです。ただし、神のために全員が死ぬだけです。
ゲーム理論について話したいのなら、それは本質的にゲーム理論の問題ではありません。それは教育の問題です。それはこのものが人類を殺すものだという同じページに立つ問題です。どの国も人類を殺すものを作りたいとは思っていません。だから、私たちは知識のギャップを埋めなければなりません。予測のギャップを埋めなければなりません。あなたが今フレーミングしているような根本的なゲーム理論の問題ではありません。
別の見方をしてみましょう。これは合理主義者にアピールするでしょう。間違いなく、私の友人の多くは合理主義コミュニティにいて、合理主義コミュニティの人々を非常に尊敬しています。だから、彼ら自身の議論方法を使って彼らに反論してみましょう。
AIの一時停止の機会費用は何でしょうか？一時停止を提唱するために費やされた時間、お金、社会資本などのすべてのリソースは、よりニュアンスのある安全性の懸念に対処するためにより良く配分できるでしょう。ナッシュ均衡は、すべてのプレイヤーが急速に前進し続けるべきだと示唆しています。なぜなら、AIの調整は実際的ではないからです。
AIを成功裏に一時停止することは非常に価値があります。あなたが説明しているこの代替案、つまりニュアンスのある安全性の懸念に対処することは、AIを一時停止することほど大きな勝利には聞こえません。
今や、AIを一時停止する確率次第になります。その確率が1%であれ5%であれ、何であれ、それが生き残る唯一の希望だと私には見えます。私たちが私たちを殺さないAIを構築できるとは思えません。小さな可能性はあります。未知のものがありますが、それは私たちが実際に構築しているものには見えません。誰もが願望的思考をし、とてつもなく無謀になっているように見えます。
AIを一時停止する私たちのチャンスが何であれ、それが私が知っている唯一の方法で全員を殺さない方法です。ある戦略が行き詰まっていることがわかったら、別の戦略を選ぶべきです。
残念ながら、岩と硬い場所の間に挟まれているということがあります。一方が岩だとわかったからといって、硬い場所に移動する必要はありません。なぜなら、硬い場所も硬い場所だからです。そして、あなたの論理によれば、今度は岩に戻らなければならず、そして硬い場所に戻らなければなりません。ある時点で、岩と硬い場所の間で選ばなければなりません。わかりますか？
そして、それは私に疑問を抱かせました。これが実際に私がこのビデオを作っている理由です。非常に知的で、非常に人脈の良い人々がまだたくさんいて、その中には私の友人もいて、オンラインで見かける人もいますが、一時停止の議論に時間とエネルギーと認知サイクルを無駄にしています。
私たちには前進するためのより良い方法があります。安全性を提唱するために何ができるかを知っています。一時停止運動は15分間の注目を浴びましたが、本当に前に進む時が来ました。
平均的な人が「ああ、私たちは本当にAIを一時停止するべきだ」とか「AIの一時停止は私たちの時代の最も重要な問題の一つだ」と言うまで、私たちはまだ15分間を得ていません。そこまで到達するまで、私たちはまだ戦い始めていません。
純粋な合理主義者の議論の観点から見ると、一時停止運動についての電波の瞬間、ツイート、ビデオ、デベート（彼は私のことを話しているのでしょうか？）、ブログ投稿のすべて、その精神的エネルギーは、より洗練された、より進歩的な（政治的な意味ではなく、時代に追いついたという意味で）、より良い議論を構築し、より良い調整メカニズムを作るために使われたかもしれません。
「AIは全員を殺すから、すべてをオフにしろ」という単調な議論ではなく。誰もそれを信じていません。そして、人々がそれを言い続けるほど、AI安全性の人々が「AIは全員を殺すからオフにしろ」と言い続けるほど、彼らはより狂っているように見えます。より縁辺的に見えます。
私たちの思考プロセスや優先事項を理解していないように見える人々から、ドライブバイ的な広報アドバイスを得るのは常に良いものです。彼らは私たちが失敗することを望んでいますが、その考えに感謝します。
そして、業界の内部者と話すたびに、彼らは「ああ、それは起こっていない」と言います。彼らは文字通り、閉じたドアの後ろで一時停止の人々を笑っています。それは少し痛みます。彼らのために痛みを感じます。私を助けてください。私はここで助けようとしています。
一時停止の人々を笑っている部屋がたくさんあることは間違いありません。同時に、人々がどれほど怖がっているか、そしてPAI（一時停止AI）の人々がより大きな影響力を持つことを願っているかについて話している多くのこれらのプライベートな部屋があることも間違いありません。すべてのタイプの部屋があります。世界は大きな場所です。業界は大きな場所です。
だから、人々全体が考えていることの総合的な印象を得たいのなら、私たちにはそのためのツールがあります。例えば、調査や多くの著名な署名者がいる手紙などです。これらの情報源を見ると、明確なトレンドがあり、調査で見る人々全体の中で、終末論者の明確な多数派さえあることがわかります。
あなたは今、「ああ、私が考えているこの業界の内部者のグループは、PAIは冗談だと思っている」とカジュアルに訴えていますが、最も簡単に指摘できるのは、ジェフリー・ヒントン、ヨシュア・ベンジオ、そしてAIラボのリーダーたち、特にダリオ・アモデイですが、サム・アルトマンもある程度そうです。確かにサム・アルトマンのために働いている人々、あるいは少なくとも以前働いていた人々、イアン・レイキー、ジョン・シュルマンは、ある程度問題を認識しています。
これらの人々は笑っているようには見えません。でなければ、彼らは真剣に受け止めているふりをしながら、極めて低い誠実さを持っているということです。しかし、あなたは彼らが笑っていると主張しています。私は彼らが笑っているとは思いません。
だから、これをデビッド・シャピロからの別の低レベルな攻撃として記録せざるを得ません。ただ「一部の人々が笑っている」という逸話を持ち出すのは...Mr.データと証拠、あなたは「ある部屋で一部の人々が笑っている」という逸話を、PAIについて人々を教育しようとするYouTubeビデオで投げかけるつもりですか？「一部の人々が笑っている」...はい、世界の100%が「AIを一時停止する必要がある」と確信しているわけではありません。だからこそ、私たちはまだそれを行っていないのです。しかし、再度、トレンドを見てください。実際のデータを見てください。総計を見てください。総計は私たちに有利です。
では、総計の観点から話しましょう。そして、さらに良いのは、議論の観点から話しましょう。だからこそ、私はあなたをドゥーム・デベーツに招待し、実際の議論をしてほしいのです。なぜあなたが非終末論者なのか、なぜ超知能AIがうまくいくと思うのか、その議論をしましょう。
では、私たちが話している代替案は何でしょうか？第一に、私は特に私の聴衆に対して説教をしているように感じますが、透明性、説明責任、官民パートナーシップを強調することです。これは、企業、政府、大学、その他の非営利組織と第三者の間でより透明性を持つことを意味します。
私たちはAIの利点を得ることができ、害を最小限に抑えることができます。機械的解釈可能性の研究にもっと投資することができます。私はAIの安全性のためにそれが必要だとは信じていませんが、多くの人々がそうだと信じているようです。そして、機械的解釈可能性を持つことは害にはならないでしょう。しかし、再度、これらの個々のニュアンスのあることを提唱するのではなく、より誇張的な「すべてをシャットダウンしろ」というのは、単に機能しません。
車の運転の比喩に戻りましょう。暗くて霧がかかっていて、道路に氷が見え始めています。潜在的に崖の端が近づいていると思いますが、正確にどこにあるかはわかりません。彼は言っています。「安全のために今すぐブレーキを踏むのではなく、賭け金が高いから、タイヤのトラクションを少し改善するだけではどうでしょうか。それほど多くのトラクションではありません。おそらくまだ氷の上で滑るでしょうが、ほんの少しだけトラクションを改善するのです。それが現実的な目標です。それが最善のことです」と。
そして、私は...もしその選択肢か何もしないかのどちらかだとしたら、確かに。しかし、賭け金を考えると、慎重な選択肢は依然としてただブレーキを踏むことです。そして、それは...氷に対してまだ十分ではないトラクションを少し改善するというのは、かなり悪い慰めの賞です。
それは程度の問題です。もしあなたが提案しているこれらの他の選択肢、「ああ、もっと透明性を」とか「もっと機械的解釈可能性を」が実際に超知能AIが制御不能になり、世界を破滅させるのを防ぐことができるなら、素晴らしい。その場合、私は「はい、妥協してそれに取り組みましょう」と言うでしょう。しかし、それだけでは十分ではありません。それは程度の問題です。私たちは今、あまりにも圧倒されています。AIがうまくいくことを望むのはあまりにも手に負えません。人類は、宇宙が初めて本当の知性の姿を見る「成長した知性」と比べると、非常に弱い力になるでしょう。
知性であることにはレベルがあるということを私たちは忘れがちです。私はよくその点に戻ります。私たちの弱々しい人間の心は、すべて一緒に長い時間をかけて多くのリソースを使って、やっと世界を運営できているのです。だから、私たちはまもなく圧倒的に凌駕されてしまうでしょう。AIを一時停止しない限り、私にはあまり希望が見えません。だからこそ、私はAIの一時停止に立ち返るのです。
たくさんの代替案があります。私はむしろ、私が公理的アラインメントと呼ぶものなど、代替案を研究することに時間を費やしたいと思います。もし長い間私のチャンネルを見ていたなら、この用語を覚えているでしょう。公理的アラインメントは基本的に、人間の利益と機械の利益の間で公理的に真実であるものを見つけ、それにアラインすることを言います。
基本的に、私のこの議論に関する立場は、AIが人類に自身をアラインさせるだろうということです。実際、これについてかなり広範なSubstack記事を書く予定です。おそらく「第4のナラティブ」というタイトルになるでしょう。とにかく、私のSubstackに行って購読してください。そうすれば、それが出たときに見ることができます。
しかし、いずれにせよ、たくさんの代替案があります。この終末論者のナラティブ、「空が落ちてくる」というのは古くなっていて、役に立ちません。
私はデビッドをフォローしていないので、彼が公理的アラインメントで何を意味しているのかわかりません。AIを一時停止するとき、私たちは他の何かをするために時間を買わなければならないと思います。なぜなら、無限の時間を買うことはできないからです。おそらく数年、最良のシナリオでも数十年くらいしか時間を買えないでしょう。その後、秘密の地下研究者たちが多くの進歩を遂げ、とにかく超知能に到達するでしょう。だから、その余分な時間を賢明に使う必要があります。
繰り返しますが、デビッドの「公理的アラインメント」という用語の使い方に馴染みがありませんが、MIRIプログラム（機械知能研究所）を見てみると、彼らが過去に行ってきた研究のタイプは公理的です。おそらくデビッドと同じ意味ではありませんが、その用語を使うことができるでしょう。彼らはAIアラインメントの基礎について話しています。
私はそれを知能理論と呼んでいます。知能であるとはどういうことか、どのように知能を分析するのかということです。私たちはそれを、「ワオ、この目標が可能な未来の空間で達成されている。何らかの方法で未来がこの目標に向かって絞られている」というように分析できます。これが、私が知能科学と呼ぶ分野で行う種類の観察です。
目標を達成したアルゴリズムについて考える必要さえありません。目標達成アルゴリズムを分類し、それらから含意を導き出すのは興味深いことです。例えば、アルゴリズムが目標指向でない場合、それは目標指向になる可能性がありますが、その逆はありません。アルゴリズムがより目標指向になる一方通行の道、一方通行のアトラクターのようなものがあります。これが、知能科学を研究するときに得られる種類の洞察です。
とにかく、私は「公理的アラインメント」という用語について考えを巡らせているだけです。知能の基本原則、本当に強い知能を持つときに何を期待すべきか、そしてそのような知能に目標をどのようにして読み込むことができるかについて、多くの人々が取り組むべきだと思います。
内部アラインメントの問題、つまり私たちの関数が実際に望んでいることを行うようにする問題を解決するにはどうすればよいでしょうか。私たちの真の複雑な関数を学ぶことなく、私たちのテストをパスする方法を学ぶのではなく。そのようなことは非常に基本的です。現在、それらは未解決の問題です。私たちは、構築しているAIに目標を読み込む方法を知りません。それでも、私たちはそれらを構築しています。
だから、はい、この並行トラックは起こらなければなりません。しかし、それは「AIを一時停止するな、この並行トラックに取り組め」ということを意味しません。いいえ、私は両方をしなければならないと言うでしょう。並行トラックに取り組み、AIを一時停止しなければなりません。AIを一時停止しないのは、どう見ても terrible moveです。
私が参加したポッドキャストのいくつかでさえ、すでにより洗練された会話をしています。しかし、はい、皆さん、前に進みましょう。
私はAIを一時停止しないことから前に進みたいと思います。AIを一時停止する方向に進む時が来ています。フレーミングがすべてです。
もう一つは規制の捕捉です。ビッグテクと政府の間の回転ドアは、監督と説明責任に疑問を投げかけます。これは、OpenAIが取締役会を再構成して以来、さらに悪化しています。
さて、なぜ一時停止の議論の中で規制の捕捉について取り上げているのか疑問に思うかもしれません。誰が利益を得ているのでしょうか？この一時停止のナラティブから誰が利益を得ているのでしょうか？
こう言ってみましょう。OpenAIとMicrosoftとGoogleとMetaだけが席に着いて、「ああ、そうだ、AIは全員を殺すだろう。規制する必要がある。そして、ところで、どのように規制するかは私たちに聞いてください」と言っているのであれば...
私は「AIが全員を殺す、空が落ちてくる」という終末論者のナラティブ、「すべてをシャットダウンしろ」という議論をとても疑わしく思っています。なぜなら、それは直接企業の利益に結びつくからです。そして、私はAI安全コミュニティの多くの友人が必ずしも企業の力を支持しているわけではないことを知っています。
彼らが皆「企業を焼き払え、アラサカは悪だ」と言っているわけではありません。企業は存在する必要があります。しかし、私の要点は、閉じたドアの後ろで私が持つ会話ははるかに洗練されているということです。私たちは全体像を考慮に入れる必要があります。全体像には、規制の捕捉について話すこと、これらの問題をめぐる地政学的な対立について話すことが含まれます。
そして、それは大国間の別の軍拡競争、別の冷戦、あるいは別のホットウォーの可能性を検討することを意味します。だから、「AIが遠い未来に全員を殺すかもしれないから、今日すべてを混乱に陥れろ」とは言えません。これが私の主なメッセージです。
なぜあなたは終末論者の立場を誤って伝えているのですか？誰も「AIが遠い未来に全員を殺すかもしれない」とは言っていません。私たちは、専門家のタイムラインを見ると、大まかに5年から20年の間にクラスターしていると言っています。私個人的には、1年から30年の間に間隔を広げるのが好きです。
そのタイムラインの中で、AIは人類よりも優れた目標達成能力を持つ意味で超知能になるでしょう。終末論者は、それが非常に危険で、また不可逆的だと考えています。私たちは短期的なリスクを見ています。この世代で、すべての将来の価値が永久に消滅するリスクを見ています。
あなたは私の立場を「AIが遠い未来に全員を殺すと警告している」と特徴づけました。なぜそうするのですか？なぜそのような基本的な点で相手の立場を正確に特徴づけないのですか？
さて、これは私が最後の最後にこのスライドデックに追加したことですが、このスペースにより注意を払っているうちに、名前の後に一時停止アイコンを付けているTwitterアカウントの多くが数ヶ月前のものだと気づきました。そして、もっとよく見てみると、「ああ、そうか、何が起こっているのかわかる」と思いました。
トロールボットがいるのです。それがAIによって動かされているボットか、人間によって動かされているボットかは関係ありません。一時停止運動を支持するボットアカウント、トロールアカウントがあります。そして、それが私にこのビデオを作らせた決定的な要因でした。一時停止運動を支持するトロール農場があるなら、それがこの運動について知る必要のあるすべてです。それがこの運動について知る必要のあるすべてです。
調査によると、ほとんどの人々が超知能AIからの絶滅リスクを心配しています。そして専門家も心配しています。必ずしもほとんどの専門家とは言えないかもしれません。なぜなら、確信が持てないからです。しかし、確実に少なくとも20%から30%の専門家が「このリスクは重大に見えます」と言っています。
だからこそ、昨年、産業界と学界の多くの人々がAIの存在的リスクに関する声明に署名したのです。一時停止の声明ではなく、「これは核兵器に匹敵する大きなリスクに見え、真剣に受け止めるべきだ」という声明です。
あなたは社会的信頼性の欠如からの議論に戻り続けています。そして、私は何度も思い出させています。いいえ、社会的信頼性はたくさんあります。そして、その社会的信頼性の量は成長傾向にあります。今日あなたにとって十分でないなら、明日まで待ってください。おそらくジェフ・ヒントンがさらに断固とした態度を取るのを見るでしょう。
例えば、彼は最近、超知能AIが間違った方向に行く彼の個人的な確率は50%以上だと言いました。しかし、公平を期すために言えば、彼は友人の意見を聞いて、それを10%から20%に下方修正しました。しかし、世界をリードする専門家の独立した確率の要素が50%以上というのは...
だから、私は実際の社会的証拠に立ち返らなければなりません。なぜなら、あなたがここに来て「ねえ、PAIボットアカウントがある、それがあなたが知る必要のあるすべてだ」と言うとき...いいえ、それはあなたが知る必要のあるすべてではありません。なぜそんなことを言うのですか？人々はAIについてどのように考えるべきかのガイダンスを求めてあなたを見ています。
誰かがPAIボットアカウントを作ったら、それがあなたが知る必要のあるすべてではありません。そしてもう一つ、私はPAIボットアカウントを見たことがありません。文字通り、誰かがツイートしていて、私がそのアカウントをクリックして「これは誰だ？最近のアカウントだ。ボットのようだ」と思った記憶が全くありません。そして明らかに、私はPAI圏内にいます。
だから、あなたが何について話しているのかわかりません。しかし、誰かがどこかでPAIボットの軍隊を作ったことを喜んで認めます。ただ、なぜあなたがそれを人々の信念を揺るがすべき大きな事実のように振る舞っているのかわかりません。そうではありません。
そして、私がこのビデオで本当に望んでいるのは、それに光を当てることです。なぜなら、研究を遅くすること、減速運動、あるいは何と呼びたくても、それが良いことだと心から信じている素晴らしい人々がたくさんいるからです。
しかし、なぜ敵対的な国々がそのナラティブを増幅している可能性があるのかを考えてください。それは私にとって、警鐘を鳴らし、この運動が実際に何をしているのかを立ち止まって考える十分な理由です。それは水を濁しているのでしょうか？それは実際に何か役立つことをしているのでしょうか？この時点で、私は一時停止運動を強化または再活性化するためのアストロターフ運動があると思います。
彼が最初に「あなたたちは15分間の注目を集めた。一時停止AIは死んだ。一時停止AIのメッセージは共鳴していない」と言い、今度は「一時停止AIのメッセージが本当に共鳴していて、至る所にあるように見えるなら、それはただのボットアカウントだ」と言っているのは、矛盾に気づかざるを得ません。
それでは、二重の意味で押し進めましょう。なぜなら、あなた自身が私たちを助けようとして、メッセージが共鳴する限り一時停止は良い戦術かもしれないと言っていたからです。では、それを共鳴させ続けましょう。
繰り返しますが、私はこれらの一時停止AIボットアカウントを見たことがありません。確かに、私はボットアカウントをプログラムしたことはありません。それは努力に値しないと思います。もちろん、反対側の動機や、反対側にボット農場がある可能性、企業の利益が反対側にあることについては言及しません。
私はそのようなBSについて話すためにここにいるのではありません。ドゥーム・デベーツは、一時停止AIが良い政策であり、AIが全員を殺す理由を指摘することだけです。私はそれがとても核心的な問題であり、とても強力な議論だと思うので、誰の動機が何を言うのかについて話すのは時間の無駄だと思います。メタに行って動機について話す必要はありません。私は確かにそうしません。
しかし、はい、もしあなたがTwitterで停止アイコンや一時停止アイコンを付けているアカウントに気づいたら、それらがどれくらい古いか、どれくらい小さいかを確認してください。そして、「これは権威のように振る舞っている人だが、Twitterを始めてわずか数週間か数ヶ月しか経っていない」というようなものです。うーん、少し怪しいですね。
だから、はい、私はこれらすべてをあなたの注意を引くために呼びかけたかったのです。私の最後の一言は、「前に進もう」ということです。一時停止は、AIの安全性の複雑な課題に対処せず、より害than恩thをもたらす可能性のある過度に単純化された解決策です。
意識は高まりました。それは過度に単純化された解決策であり、潜在的に有害です。そして、私はAI安全運動自体にとってだけでなく、有害だと言っているのではありません。私はTwitterで、AI安全運動は自己消費しているように見えると言ってきました。ステータスゲームの狭まりと、行われている純粋性テストのために。
だから、AI安全運動は信頼性を失っています。ところで、私が学者や商業的な内部者と話すときはいつでも、私たちが採用できるより良い戦略があります。私たちが取り組むことができるより良いナラティブがあります。または、私たちは完全に新しいナラティブを作る必要があるかもしれません。
いずれにせよ、それはすべて前に進む時が来たことを示す兆候です。このビデオが望んだ影響を与えることを願っています。ご視聴ありがとうございました。良い一日を。チアーズ。
繰り返しますが、私たちが話したことについて、彼は一時停止AIは15分間の注目を集め、それは終わったと言っています。私は同意しません。私はそれが成長している運動だと思います。私たちの側に勢いがあると思います。
彼は、それが解決策として機能しないと言っています。それは単純すぎます。私は、それが単純すぎることに同意し、他のことも行う必要があることに同意します。しかし、それは当たり前のことです。安全な超AIを作る方法を見つけるか、あるいはそもそも作らないかを考える時間ができるまで、AIを一時停止することは当たり前のことです。
だから、一時停止AIと、一時停止AIでないか、というのではありません。本当に一時停止AIをしなければなりません。生き残るためのわずかな希望を持ちたいなら、本当にAIを一時停止しなければなりません。
そして、彼の最後のポイントとして、社会的証拠のカードを使おうとしています。なぜなら、彼は部屋に入って特定の人々と話をし、彼らが笑っているからです。はい、私たちは誰なのかを知っています。ヤン・ルクンですね。私たちはこれらの人々が存在することを知っています。ヤン・ルクンは一人で、AIに対して十分に笑っています。彼は毎日部屋で笑っているのです。
だから、ヤン・ルクン一人で、AIを笑う閉じたドアの後ろの何百もの会話の責任を負っています。だからこそ、運動全体がどこに向かっているのかを俯瞰的に見る必要があります。専門家の意見が全体としてどこに向かっているのかを見てください。世論を見てください。
これが本当の問題であり、真剣な人々がこの問題を解決しなければならないということを認識することがますます主流になっていることは疑いありません。ありがたいことに、それがますます主流になっています。問題を無視することはできません。それはうまくいかないのです。
残念ながら、このポッドキャストが明らかにしているように、反対側の議論は自信を与えるものではありません。
これで言うべきことはすべて言ったと思います。しかし、デビッド・シャピロに公開招待を延ばしたいと思います。彼は賢い人のように見えます。私たちの異なる見解について話し合えたらいいなと思います。あなたがYupというPAIの人と話すかもしれないと聞いています。もしそうなら、それは素晴らしいことで、素晴らしい会話になることを願っています。しかし、あなたはいつでもここドゥーム・デベーツに来ていただけます。