元OpenAI社員らが「運が悪ければAGI全面戦争に突入」と警告
現職および元職の OpenAI 従業員のグループ (一部は匿名) と、Yoshua Bengio、Geoffrey Hinton、Stuart Russell が今朝、「高度な人工知能について警告する権利」と題する公開書簡を発表しました。
上記の声明の内容の全文を解説していきます。
高度な人工知能について警告する権利
署名者（アルファベット順）
旧OpenAI：
ジェイコブ・ヒルトン
ダニエル・ココタイロ
ラマナ・クマール
キャロル・ウェインライト
ダニエル・ジーグラー
匿名
匿名
旧Google DeepMind：
ニール・ナンダ
現在はGoogle DeepMind、以前はAnthropic：
ウィリアム・サンダース
現在OpenAI：
匿名
匿名
匿名
匿名
推薦者（アルファベット順）:
ヨシュア・ベンジオ
ジェフリー・ヒントン
スチュアート・ラッセル
私たちはAI技術がもたらす重大なリスクを理解
私たちは最先端の AI 企業の現従業員および元従業員であり、AI テクノロジーが人類に前例のない利益をもたらす可能性を信じています。
また、私たちはこれらの技術がもたらす重大なリスクも理解しています。これらのリスクは、既存の不平等のさらなる固定化から、操作や誤情報、自律型AIシステムの制御の喪失による人類絶滅の可能性まで多岐にわたります。AI企業自身もこれらのリスクを認識しており[ 1、2、3 ] 、世界各国の政府[ 4、5、6 ]や他のAI専門家[ 7、8、9 ]も同様です。
企業統治の特注構造ではリスクは十分に軽減できない
私たちは、科学界、政策立案者、一般市民からの十分な指導があれば、これらのリスクは十分に軽減できると期待しています。しかし、AI 企業には効果的な監督を回避する強い経済的インセンティブがあり、企業統治の特注構造ではこれを変えるのに十分ではないと考えています。
各AI企業は非公開情報を国と共有すべし
AI 企業は、自社のシステムの機能と限界、保護対策の妥当性、さまざまな種類の危害のリスク レベルに関する膨大な非公開情報を保有しています。ただし、現時点では、これらの情報の一部を政府と共有する義務はわずかであり、市民社会と共有する義務はありません。すべての企業が自発的に情報を共有するとは考えられません。
効果的な政府の監視がない場合でも、現在および元従業員は、これらの企業を公の場で責任を追及できる数少ない存在です。しかし、広範な秘密保持契約があるため、私たちの懸念を声に出して伝えることができるのは、これらの問題に対処していないかもしれない企業自体に限られています。一般的な内部告発者保護は、違法行為に焦点を当てているため不十分です。私たちが懸念している多くのリスクは、まだ規制されていないからです。業界全体でこうした事例が過去にあったため、様々な形の報復を恐れるのは当然のことです。この問題に直面したり、それについて話したりするのは私たちが初めてではありません。
私たちは先進的な AI 企業に以下の原則に従うよう求めます
会社が、リスクに関する懸念について会社を非難または批判することを禁止する契約を結んだり、実行したりせず、また、リスクに関する批判に対して、既得の経済的利益を妨げる形で報復したりしないこと。
会社が、現従業員および元従業員が会社の取締役会、規制当局、および関連する専門知識を持つ適切な独立組織にリスク関連の懸念を提起するための検証可能な匿名のプロセスを促進する。
企業はオープンな批判の文化を支持し、企業秘密やその他の知的財産権が適切に保護されている限り、現従業員および元従業員が自社の技術に関するリスク関連の懸念を一般の人々、企業の取締役会、規制当局、または関連する専門知識を持つ適切な独立組織に提起できるようにします。
他のプロセスが失敗した後にリスク関連の機密情報を公開した現従業員および元従業員に対して、当社は報復措置を取らないこと。リスク関連の懸念を報告するいかなる取り組みにおいても、機密情報を不必要に公開することは避けるべきであると当社は認めます。したがって、会社の取締役会、規制当局、および関連する専門知識を持つ適切な独立組織に匿名で懸念を提起するための適切なプロセスが存在する場合、当社は、懸念は当初そのようなプロセスを通じて提起されるべきであると認めます。ただし、そのようなプロセスが存在しない限り、現従業員および元従業員は懸念を公に報告する自由を保持する必要があります。
また、同じタイミングで、機密漏洩の罪で解雇された元、OpenAIスーパーアライメントチームのレオポルド・アッシェンブレンナー氏も自分のブログにて下記の様な声明文をだしています。
状況認識：これからの10年
サンフランシスコでまず未来を見ることができる
過去 1 年間で、話題は 100 億ドルのコンピューティング クラスターから 1,000 億ドルのクラスター、そして 1 兆ドルのクラスターへと移り変わりました。6 か月ごとに、役員室の計画にゼロが 1 つ追加されます。
舞台裏では、10 年間の残りの期間に利用可能なすべての電力契約、調達可能なすべての電圧トランスを確保するための激しい争奪戦が繰り広げられています。アメリカの大企業は、長い間見られなかったアメリカの産業力の動員に数兆ドルを注ぎ込む準備を整えています。10 年間の終わりまでに、アメリカの電力生産は数十パーセント増加し、ペンシルバニア州のシェール フィールドからネバダ州の太陽光発電所まで、何億もの GPU が稼働することになります。
半世紀ぶりの国家安全保障部隊プロジェクトが開始されます
私たちは考え、推論できる機械を製造しています。2025/26 年までに、これらの機械は多くの大学卒業生を追い抜くでしょう。10 年後には、機械はあなたや私よりも賢くなり、私たちは言葉の本当の意味で超知能を手に入れるでしょう。その過程で、半世紀ぶりの国家安全保障部隊が解き放たれ、間もなくプロジェクトが開始（注01）されます。運が良ければ、中国共産党との全面戦争になるだろうが、運が悪ければ全面戦争になるでしょう。
※注01：この文は、「運が良ければ」状況が激しい競争にとどまるが、「運が悪ければ」その競争が実際の戦争にエスカレートする、という意味です。つまり、どちらにしても厳しい状況ですが、最悪の場合は全面戦争が予測されているということです。
ここで「The Project」が具体的に何を指しているのかは明確ではありませんが、文脈から推測すると、大規模な国家的プロジェクトや対策を意味している可能性があります。
我々は全面戦争の危機を自覚していません
誰もが今や AI について語っているが、自分たちに何が起ころうとしているのか、ほんのわずかしか予感していません。Nvidia のアナリストは、2024 年がピークに近いかもしれないと依然として考えています。主流の評論家たちは、「AI はただ次の言葉を予測しているだけだ」という故意の盲目的な考えにとらわれています。彼らは誇大宣伝といつも通りのビジネスしか見ておらず、せいぜいインターネット規模の技術革新がまた起こると期待しているだけです。
このテクノロジーを構築している人々は非常に賢い人々
間もなく、世界は目覚めるだろう。しかし現時点では、状況認識力を持つ人はおそらく数百人程度で、そのほとんどはサンフランシスコと AI 研究所にいる。運命の奇妙な力によって、私は彼らの中にいることになった。数年前、これらの人々は気が狂っていると嘲笑されたが、彼らはトレンドラインを信頼し、そのおかげで過去数年間の AI の進歩を正しく予測することができました。これらの人々が今後数年間についても正しいかどうかはまだ分かりません。しかし、彼らは非常に賢い人々であり、私がこれまでに会った中で最も賢い人々であり、このテクノロジーを構築している人々です。彼らは歴史の中で奇妙な脚注になるかもしれないし、シラードやオッペンハイマー、テラーのように歴史に名を残すかもしれません。彼らが未来を少しでも正しく見ているなら、私たちは激しい旅をすることになるでしょう。
マンハッタン計画と比較してみる
広島・長崎に原爆が投下された経過
マンハッタン計画のケースでは、アメリカが原子爆弾を開発しようと国家プロジェクトを発動した理由については、複数の要因が絡んでいます。主な理由をいくつか挙げると次の通りです。
ドイツの核兵器開発への懸念: 当時、ドイツが核兵器を開発しているという情報がアメリカにとって大きな脅威と見なされました。特に、物理学者アルベルト・アインシュタインとレオ・シラードがフランクリン・D・ルーズベルト大統領に送った手紙で、ドイツがウランを使って強力な爆弾を開発する可能性があると警告したことが、アメリカの核兵器開発を急がせる一因となりました。（これは今の中共とのAI競争を彷彿とされます）
戦争の早期終結: アメリカは原子爆弾を使用することで戦争を早期に終結させることができ、多くの命を救うことができると信じていました。特に、沖縄戦などでの激しい戦闘から予想される日本本土侵攻の際の犠牲者数を減らすための手段として考えられていました。
技術的優位性の確保: 戦後においても、原子爆弾を持つことは技術的および軍事的優位性を確保するための重要な要素とされました。冷戦時代の到来を見据えて、ソ連に対する優位性を確保するためにも、核兵器の開発は重要視されました。
国際的な圧力: 同盟国であるイギリスやソ連との関係も影響しました。特に、ヤルタ会談やポツダム会談などでの交渉において、核兵器の存在がアメリカの交渉力を強化する要素となっていました。
これらの理由が複合的に作用し、マンハッタン計画が推進され、結果として原子爆弾が開発・使用されるに至りました。
なぜドイツではなく日本に投下されたのか？
ドイツはアメリカが原子爆弾を使用する前にすでに降伏していました。以下にその詳細を説明します。
ヒトラーの自殺とドイツの降伏:
アドルフ・ヒトラーは1945年4月30日に自殺しました。この時点でドイツの敗北は明白でした。
1945年5月7日、ドイツは無条件降伏を宣言し、これによりヨーロッパにおける第二次世界大戦は終了しました。公式には、5月8日が「VEデー（Victory in Europe Day）」として祝われています。
原子爆弾の使用:
ドイツの降伏後も、太平洋戦域では日本との戦争が続いていました。
アメリカは1945年8月6日に広島、8月9日に長崎に原子爆弾を投下しました。これらの攻撃により、日本は1945年8月15日に降伏を宣言し、9月2日に正式に降伏文書に調印しました。
このように、アメリカが原子爆弾を使用したのは、ヨーロッパでの戦争が終結した後であり、主に日本に対する戦争を終結させるためのものでした。ドイツの降伏とヒトラーの自殺は、原子爆弾の使用とは直接関係がありませんが、戦争全体の流れとしては重要な要素です。
国家安全保障部隊プロジェクトはマンハッタン計画とどこがちがうのか？
AGI（汎用人工知能）の時代においては、従来の物理的な兵器ではなく、サイバー空間での戦いが主流になる可能性が高いです。これは、次のような理由によります。
サイバー戦争の可能性:
AGIは高度なデータ処理能力と自動化された意思決定プロセスを持つため、攻撃の手段としてサイバーウィルスやマルウェアが利用される可能性があります。敵対するAGIシステムに侵入し、その機能を妨害するか、逆に利用することが考えられます。
例えば、Stuxnetというマルウェアはイランの核施設に対して使用され、物理的な破壊を引き起こすことなく重要な設備を無力化しました 。
情報戦:
AGIは情報の収集・分析能力に優れているため、情報戦が重要な役割を果たすでしょう。敵国のAGIの意図を探り、虚偽情報を流すことで混乱を招く戦略が考えられます。
倫理的な問題:
核兵器の使用は大規模な破壊と倫理的な問題を伴うため、国際社会の非難を招くリスクがあります。対照的に、サイバー攻撃は物理的な被害を伴わず、特定のターゲットに対して精密な攻撃が可能です。
技術的進歩:
サイバーセキュリティ技術や防御策も進化しているため、攻撃と防御の間で高度な技術競争が繰り広げられることになります。これには、敵対するAGIの行動を予測し、阻止するための高度なアルゴリズムの開発が含まれます。
このように、未来の戦争は物理的な破壊ではなく、サイバー空間での知的な攻防戦が主流になる可能性があります。このため、各国はサイバーセキュリティの強化やAI倫理の確立に力を入れることが重要です。