AGI冷戦が人類にとって悲惨な理由

みなさん、こんにちは。OpenAIやAnthropicのような民間企業が急速に進化する人工知能を開発する中、世界の主要国政府はその動向に注目しています。AIの軍事的潜在力を考えると、この技術競争は地政学的緊張を劇的に高める可能性があります。人工汎用知能(AGI)をめぐるこの競争が新たな冷戦の火種となるのでしょうか？そしてそのような対立がもたらす影響とは？続けてご覧ください。
この動画は3つのパートに分かれています。軍事化、サンフランシスコ計画、そして終末論的議論です。
パート1: 軍事化
人工汎用知能(AGI)とは、基本的に人間と同じくらい賢いAIのことです。AGIの開発はOpenAIを含む多くの研究機関が掲げる目標です。誰を信じるかによって意見が分かれますが、私たちはAGIに向けて指数関数的に発展しているか、あるいはシグモイド曲線のように少し減速するかもしれません。その結果、AGIは今年か数年以内に登場する可能性もありますし、私の意見では、もっと時間がかかる可能性もあります。でもそれについては別の動画で詳しく話します。
この動画では、OpenAIのスーパーアライメントチームを最近退職したLeopold Ashenbrenerの最近の論文について話します。このチームは、将来スーパーインテリジェンスを作り出した場合、それをどうやってコントロールするかを考える役割を担っていました。OpenAIのスーパーアライメントチームが解散したことについては別の動画を作りましたので、詳しく知りたい方はこちらをチェックしてください。
とにかく、これ以降Leopoldと呼ぶLeopold Ashenbrenerは、非常に長い複数のパートからなるエッセイを書きました。彼はそれを「状況認識」と呼び、URLはsituational.awarenessです。リンクは説明欄にありますが、警告しておきますが、これは基本的に本で、150ページくらいあります。
このエッセイは、トレーニングデータ、トレーニングクラスター、パラメーターなどの規模が急速に拡大していることから、AGIが急速に近づいていることを強調しています。そのエッセイのかなり単純なモデリングによると、AGIは2027年か2028年頃に到来する可能性が高いとされています。
また、Leopoldの意見では、国家レベルの介入が高い確率で起こる可能性があることも強調されています。なぜでしょうか？それはAIの軍事応用の可能性が多いからです。軍事組織がAI研究に資金を提供し、自ら研究を行っていることは公然の秘密です。実際、Jeffrey Hintonは、AIの潜在的な危険性について初めて語った際に、このことを警告しました。
歴史的に見て、特にアメリカでは、軍事資金は基本的にあらゆる種類の研究のための傘として使われてきました。基礎科学の研究資金を議会に通すのは難しいかもしれませんが、軍事支出の増加はすんなり通過するんです。これは私の推測ですが。だから、少なくともアメリカでは、ほとんどのコンピューターサイエンスの研究には、1つ以上の軍事関連のパートナーがいます。つまり、この研究は比較的簡単に現実世界の軍事応用に変換できるということです。
そして私は個人的に、少なくともOpenAIに関しては、その兆候が見え始めていると思います。なぜこれが悪いことなのか、特にアメリカに住んでいる人は疑問に思うかもしれません。基本的に、自律型兵器はより正確で致命的で、何よりも自分側の人間が死なないという利点があります。ここかしこで武器を使いたいけど、批判はあまり受けたくない政府にとっては素晴らしく聞こえますよね。
でも、大量の武器を内蔵したロボットに自律性を与えることには、たくさんの悪い結果が起こる可能性があります。これについては、たくさんのSF映画があるので、わざわざ詳しく説明する必要はないでしょう。
では、なぜOpenAIでこういった兆候が見られるのでしょうか？それも非常に明白な兆候が。それは、OpenAIの取締役会がPaul Nakasoneを招いたからです。Paul Nakasoneは長年NSAの局長を務めてきました。つまり、セキュリティ国家全体を代表する1人を選ぶとしたら、基本的に彼がその人物ということになります。
表向きは、元NSA局長がOpenAIの取締役会に加わる理由は、OpenAIがより良く攻撃から身を守るためだと言われています。その裏には中国のような他の国家からの攻撃という意味合いがあります。でも、本当に攻撃から身を守りたいのなら、NSAのトップではなく、実際にシステムを守り、人々を守るために手を汚せる人たちが必要です。
例えば、OpenAIはかつて国家レベルのセキュリティポジションである「国家安全保障脅威研究者」という職を募集していました。私も応募しましたが、どうやら適任ではなかったようです。私の意見では、これこそが外部からの攻撃からシステムを守るための具体的な一歩だったと思います。
では、なぜNakasoneが取締役会に加わるのでしょうか？それは、OpenAIが情報機関との協力に前向きであることを示すためかもしれません。でも、もっと重要なのは、アメリカ政府がOpenAIに直接アクセスして何が起こっているかを把握したり、特定の指示を強制したりするのが、取締役会を通じて直接行動を起こせるようになるからです。
ちなみに、この元NSA局長は3ヶ月前の2月に退職したばかりです。私の推測では、彼はかなり前からこのOpenAIの取締役会のポジションを用意していたのでしょう。彼のような上級職の人なら、古い職場と新しい職場の間に3ヶ月の休暇が欲しいと言うのは、決して不合理ではありません。これは、継続的な関係、あるいは少なくとも数ヶ月前から存在していた関係を示唆しているかもしれません。
パート2: サンフランシスコ計画
Leopoldのエッセイでは、アメリカ政府がAI研究の取り組みを国有化し始める時のことを「プロジェクト」と呼んでいます。私は「サンフランシスコ計画」という名前を作りました。なぜなら、Leopoldは導入部分でサンフランシスコについて延々と語っているからです。そしてもちろん、マンハッタン計画をもじったものでもあります。
マンハッタン計画は、第二次世界大戦中に原子爆弾を研究するための巨大な全国的な取り組みでした。基本的に、原子を分裂させる最初の実験はニューヨーク市のコロンビア大学で行われたので、このプロジェクトの軍事的コードネームはマンハッタン計画となりました。実際の研究の大部分は西部のロスアラモスなどで行われましたが。
さて、サンフランシスコ計画はどのように進むのでしょうか？Leopoldの議論によると、AGIの開発が近づけば近づくほど、その軍事的影響がより明白になるそうです。今のところ理論的に思えるかもしれませんし、本当にそこまで到達するかどうかは誰も確信が持てていません。しかし、それがより具体的になり、この分野の誰もが「ああ、AGIはすぐそこまで来ている」と言い始めたら、アメリカ政府は気づかざるを得なくなるでしょう。彼らはそれを国家安全保障の緊急事態と考えるでしょう。
政府は、アメリカ国内のすべてのAI研究所を国有化し、統合しようとするかもしれません。アメリカ政府がこのような行動を取れば、世界中の他の国々も追随せざるを得なくなります。中国や他の国々との全面的な競争が始まるでしょう。AGI以前のモデルの重みや、特にそれらを訓練するためのアルゴリズムが、世界で最も価値のある秘密になるでしょう。国家間のスパイ活動は、他国の秘密を手に入れようと劇的にエスカレートするでしょう。
こうして、すべての国がAGIの開発に向けて可能な限り速く競争し、そこからスーパーインテリジェンスの開発に向かうでしょう。多くの推定によると、AGIができれば、スーパーインテリジェンスはかなり早く続いて登場すると言われています。
理論的には、AGIや特にスーパーインテリジェンスに最初に到達したグループは、地政学的な競争相手よりたった数ヶ月先んじただけでも、決定的な軍事的優位性を得ることになるでしょう。
しかし、私たちはスーパーインテリジェンスが非常に危険である可能性を知っています。このように慎重さを捨て去り、できるだけ速く新技術を開発しようと加速することで、途中で自滅してしまう可能性がずっと高くなります。でも、それについては次のセクションで詳しく話します。
もちろん、AIに関して最大のライバル関係は、アメリカと中国の間にあります。Leopoldのエッセイは中国共産党について多く触れていますが、彼らについてあまり肯定的に考えていないようです。中国は今、AIに多くの投資をしています。実際、中国はアメリカの3倍か4倍の数の論文を学会で発表することもあります。
しかし、アメリカの研究所は研究能力において相当なリードを持っています。彼らには資本があり、才能があり、さらに重要なのは、ChatGPTやClaudeのような製品を開発するモメンタムがあることです。
もちろん、中国はこれらのアメリカを拠点とする企業すべてをハッキングするでしょう。中国は過去にこれをやっています。2010年にGoogleを含む約35の組織をハッキングしたときのことです。これが実際にGoogleを中国市場から撤退させることになり、当時の中国にとっては大きな経済的不利益となりました。
つまり、私たちはAI能力に基づく、アメリカと中国の間の潜在的な新しい冷戦の誕生を目にしているかもしれません。
情報機関の能力についてあまり詳しくない人のために言っておくと、彼らは極めて強力です。基本的に無制限のお金とリソースを持っているだけでなく、人々を投獄や口止め命令で脅したり、市民権を剥奪すると脅したりすることもできます。
Edward Snowdenに聞いてみてください。彼はNSAからかなりの機密情報を入手して世界に公開しようとしたあと、アメリカから逃げ出そうとしました。彼はおそらく世界で最も有名な内部告発者でしょう。とにかく、彼は亡命先のエクアドルに向かう途中、香港を経由していました。しかし、香港にいる間にアメリカの当局者が実際に彼のパスポートを無効にしてしまったんです。そのため、彼は今日までロシアに留まることを余儀なくされています。
想像できると思いますが、Edward Snowdenは、Paul NakasoneがOpenAIの取締役会に加わったことを絶対に喜んでいません。そうですね、彼はそれを「すべての人間に対する犯罪」とか何とか呼んでいたと思います。
とにかく、国家が後援する関係者は、例えばあなたのコンピューターから発せられる電磁波や、キーボードの振動や音だけから情報を盗むことができます。あるいは、iPhoneの電話番号さえ知っていれば、ワンクリックでハッキングすることができます。さらには、外部ネットワークから隔離された原子力兵器プログラムに侵入することもできます。そうですね、これについて興味があれば、Stuxnetを調べてみてください。
だから、一般的な企業が国家後援の攻撃者から身を守るリソースを持っていないことは、驚くべきことではありません。ほとんどの企業にとって、他の 企業のスパイ活動から身を守ることが基準です。国家後援の攻撃者が登場すると、彼らは自分たちのセキュリティにあまり自信が持てなくなります。
残念ながら、スタートアップは企業の中で最悪の部類です。予算に制約があり、非常に速く動いているため、セキュリティの懸念は一般的に「後で対処する」という見出しの下に置かれてしまいます。
Leopoldのエッセイによると、例えばOpenAIの内部セキュリティは、コードリポジトリへのアクセスに関して、ひどいものだそうです。でも、先ほど言ったように、これは予想されることであり、おそらくフロンティアモデルに取り組んでいるすべてのAIラボに当てはまるでしょう。
つまり、これは非常に不安定な状況です。中国政府や他の政府が、OpenAIに侵入して現在の秘密をすべて学ぶのは、絶対的に簡単なことだからです。実際、彼らはおそらくすでにそうしているでしょう。少なくとも、高度なAIの危険性が現実的で差し迫ったものだと信じているのであれば。でも、噂によると彼らはまだ完全には確信していないようです。まあ、良いニュースですかね。
パート3：終末論的議論
では、なぜこれが実際に悪いアイデアなのでしょうか？マンハッタン計画はうまくいきました。なぜ世界中の誰よりも速くAGIを作ろうとするサンフランシスコ計画を持つべきではないのでしょうか？
高いレベルで言えば、私の最大の懸念は、未来には他の可能性もあるということです。EAフォーラムのコメンターが指摘したように、Leopoldの最悪のシナリオと最良のシナリオは実際にとてもよく似ています。最悪のシナリオは、みんなが急いでAGIを開発することです。最良のシナリオも同じですが、アメリカがわずかにリードしているという点だけが違います。
問題は、このエッセイがアメリカ政府の多くの人々にとってAIの安全性というアイデアへの最初の導入になる場合、それが実際にはX-リスク（人類絶滅リスク）を増大させる可能性があることです。まだその必要がないのに、本質的に戦時体制に入れてしまうからです。
興味深いことに、Leopoldのこのエッセイはまだあまり注目を集めていないようです。おそらく長すぎるからでしょう。誰知らず、このままかもしれませんし、広く読まれるようになるかもしれません。
ちなみに、私はこのエッセイはかなり興味深いと思います。あなたが最も興味がある部分を選んで、チェックしてみてください。5つか6つのセクションがあります。もちろん、バイアスがあることは知っておいてください。でも、かなりしっかりした推論もあるので、考慮に値するデータポイントだと思います。
実践的なレベルで言えば、この計画の問題は、スーパーインテリジェンスを開発した時点で終わってしまうことです。スーパーインテリジェンスが存在するようになったら、その後どうするつもりなのでしょうか？たとえアメリカやあなたの最も密接に連携したAI大国がスーパーインテリジェンスを最初に開発したとしても、私たちは何が起こることを望んでいるのでしょうか？
最初の問題は、他の国々が同じ成果をコピーしたり、さらに悪いことに、独立した犯罪者たちがそれを行うのをどうやって防ぐかということです。AI技術は進歩し続け、より少ないリソースでより多くのことができるようになり続けるでしょう。つまり、スーパーインテリジェンスを作り出す可能性のある人々の集合は、正確には地下室ではありませんが、彼らが利用できるリソースで劇的に増加するでしょう。
AI文献では、「強い行動」について話されています。これはEliezer Yudkowskyの例で、すべてのGPUを燃やすというものです。アイデアとしては、最初に登場したスーパーインテリジェンスは、他のスーパーインテリジェンスが登場しないようにするための強い行動、かなり厳しい行動を取りたいと思うだろうということです。
なぜなら、スーパーインテリジェンスの観点から見れば、新たに登場する可能性のあるスーパーインテリジェンスをコントロールできないからです。それらは競争相手になるかもしれませんし、オリジナルを破壊しようとするかもしれませんし、自分の目標に反する行動を取るかもしれません。だから、このような強い行動を取りたいと思うかもしれません。
ここで少し話を戻して、ビー玉について話しましょう。Nick Bostromがこのビー玉のアナロジーを考え出しました。あなたの前に、たくさんのビー玉が入った壺があります。そのうちのいくつかは白で、少数は赤、そしてごくわずかな黒いビー玉が入っています。
人類が何かを発明するたびに、私たちはその壺に手を伸ばしてビー玉を取り出すようなものです。それが白なら、その発明は中立か有益なものです。赤ならば、大量破壊兵器のようにはるかに有害ですが、直接的に絶滅を引き起こすわけではありません。でも、もしビー玉が黒ならば、その技術が私たちを破滅させることになります。
Wait But Whyブログは次のような例を挙げています。もし核兵器が非常に複雑ではなく簡単に作れるものだったら、おそらくテロリストたちは今までに頻繁に核兵器を作っていて、私たちはすでに絶滅していたかもしれません。つまり、核兵器はほと�ど黒いビー玉でしたが、幸いにも赤いだけで済みました。
しかし、Nick Bostromは、スーパーインテリジェンスが私たちの最良の黒いビー玉候補だと信じています。では、なぜ私たちの最良のシナリオが、黒かもしれないと疑われているビー玉を壺から取り出すことを含んでいるのでしょうか？それは全く理にかなっていません。
何よりも、スーパーインテリジェンスが自分の利益を守るために何をするか、私たちには知ることができません。たとえそれがアメリカ政府のような人間のグループの完全なコントロール下にあり、彼らが望むどんなタスクでも実行するとしてもです。私たちは、それがそのままの状態を保たないだろうということを知っています。
AGIには箱がありません。そしてスーパーインテリジェンスには確実に箱がありません。いつかこれについて別の動画を作りますが、今のところは私の言葉を信じてください。
Wait But WhyとNick Bostromの主張によれば、スーパーインテリジェンスは最終的に、私たちの絶滅か不死のどちらかにつながる可能性が高いそうです。そうです、不死です。つまり、人間がもう死なないということです。それほど強力な技術なので、実際には最も極端な結果が最も可能性が高く見えるのです。
しかし、私たちはAIの専門家から、AIアライメント問題がまったく解決されていないことを知っています。つまり、AIシステムが何をするかを予測することはできませんし、それが私たちの目標に合致していることを保証することもできません。
だから、私は、Leopoldのエッセイ「状況認識」で概説されている道筋は、実際には集団自殺だと思います。政府同士が協力し合い、AIの開発方法についてのいくつかの基本的なことに合意しないと、彼らは競争することになります。なぜなら、彼らは自分たちの利益を考えるからです。そして自分たちの利益を考えるとき、軍事利用がすぐに浮かんできます。つまり、彼らは本当にそれに取り組み、できる限りのリソースを投入しなければならないということです。
そして彼らが競争し、私たちがそれらのスーパーインテリジェンスをどうアライメントするかについて全く分かっていないのなら、残念ながら、私たちは絶滅の方に傾く可能性が非常に高いのです。
では、私たちは何をすべきでしょうか？残念ながら、私には答えがありません。しかし、人類がより一致団結して行動できればできるほど、より良いでしょう。理想的には、世界政府か、少なくともAI研究に携わるすべての国々の間の強力な連合が欲しいところです。
そうすれば、例えば大規模な計算能力へのアクセスに強い制限を課すことが実際に強制でき、犯罪組織のような悪意のある行動者がAGIシステムを手に入れる可能性を劇的に減らすことができます。
大きな一歩を踏み出す前に、アライメント研究に十分なリソースを割り当てることができれば理想的でしょう。例えば、現在、モデルのレッドチーミング、つまり悪い振る舞いを引き出そうとすることは、人間が関与する手動のプロセスです。もし私たちが、他のモデルを実際にレッドチームする大規模なモデルを手に入れることができれば、あるいはさらに良いのは、例えばYoshua Benioが研究しているような、モデルの振る舞いについての何らかの理論的な保証を得ることができれば、それは本当に理想的でしょう。
確かに、断崖絶壁からのダーウィン的な競争よりは理想的です。そうですね、もしレミングが思い浮かんだなら、私も同じです。あなたはいつも、なぜレミングはそんなに馬鹿げて崖から飛び降りるんだろうと思います。前に進むことが進歩だから、より速く前に進むことはより良い進歩だ、というわけですよね。
最後に結論として、私たちはLeopold Ashenbrenerの新しいエッセイ「状況認識」について多く話しました。特に、政府がAI研究所を急速に軍事化するだろうという予測について、そして残念ながら、その最初のステップが元NSA局長がOpenAIの取締役会に任命されたことで公になったことについて話しました。
私は「サンフランシスコ計画」について話しました。これは基本的に、アメリカのためにAGIを軍事的な方法で発明するためのマンハッタン計画のようなものです。そしてもしそれが始まったら、中国のようなライバルがカーテンの裏で何が起こっているのかを知ることに非常に興味を持つだろうということについても話しました。
しかし今のところ、AIラボのセキュリティは基本的にスタートアップのセキュリティ、つまり存在しないに等しいのです。これはLeopoldも指摘している非常に大きな問題です。
しかし、私が指摘したい問題は、これが基本的に終末論的な予測だということです。最悪の場合、すべての国がAGIを目指して競争し、悪意を持った誰かがそれを手に入れてしまう。そして最良の場合でさえ、アメリカ政府が他の競争相手よりわずかに先んじているという点を除けば、まったく同じことが起こる。これは本当に悪いことです。なぜなら、私たちはアライメントを解決していないからです。まったく解決していません。
だから、スーパーインテリジェンスが作られたとき、私たちがそれをコントロールできる可能性、それが良い目的を持っている可能性、それが実際に製作者と協力する可能性は、大きく低下します。そして私たちは、不死への道ではなく、絶滅への道を歩むことになります。
だから、みなさん、お願いです。競争しないことを考えてみましょう。ゴールに一番乗りするのはとてもクールだということは分かります。でも、地雷を確認せずに走ると、悪い結果になる可能性がありますよね？
これらのトピックをもっと深く掘り下げたい場合は、3つの読書リソースをお勧めします。下のリンクにある「状況認識」をチェックしてください。また、下のリンクにあるWait But Whyの記事もチェックしてください。これは、スーパーインテリジェンスを手に入れたらどうなるかについての本当に素晴らしい見解です。そして最後に、もし細部まで掘り下げたいなら、Nick Bostromの「スーパーインテリジェンス」という本もあります。
この動画が気に入ったら、以前作った「スーパーインテリジェンスをどうやってコントロールするか」についての動画もチェックしてください。ネタバレですが、基本的にはできません。でも、魅力的なトピックです。
そして、もし私と直接話したり、私たちのコミュニティの他のメンバーと話したりする機会が欲しければ、ぜひDiscordに参加してください。
以上です。今日はここまでです。視聴いただき、ありがとうございました。さようなら。