AIにおける米中の衝突は不可避、今から備えよう　人工知能の台頭にともなう国家的な危機：レポルド・アシェンブレンナーの「状況認識：来たる10年」

Open AI の元社員レポルド・アシェンブレンナーの論文「状況認識：来たる10年」は、2024年6月に公開された、人工知能（AI）の未来に関する洞察に満ちた分析である。この論文は、AIの急速な進歩、特に大規模言語モデル（LLM）の能力の飛躍的な向上、そしてそれがもたらす潜在的な影響について警鐘を鳴らしている。アシェンブレンナーは、AIが人間レベルの知能に達するだけでなく、超知能（スーパーインテリジェンス）に達し、人間の能力を超えることを予測し、その結果起こりうる社会、経済、軍事、さらには人類そのものに対する影響について議論を提起している。

アッシェンブレナー氏はどういう人物か？
• ドイツ出身
• 19歳でコロンビア大学を首席で卒業
• オックスフォード大学で経済成長の研究に従事
• OpenAIのスーパーアラインメントチームで勤務
• AGI特化の投資会社を設立
天才の部類。ただしエンジニアではない。（この段落引用元：
https://x.com/Tsubame33785667/status/1798164083742818535）

Introduction - SITUATIONAL AWARENESS: The Decade Ahead

以下、論文の内容を4000字で詳しくまとめた。

１．GPT-4からAGIへ：OOMを数える

アシェンブレンナーは、AIの進歩は直線的なトレンドに従うと主張する。GPT-2からGPT-4に至るまでの4年間で、LLMは幼稚園児レベルから賢い高校生レベルの能力にまで進化した。彼は、この進歩を3つの要素に分解し、それぞれの要素の進歩を「オーダー・オブ・マグニチュード（OOM）」、つまり10倍の尺度で測定する。

• 計算量： AIモデルの学習には膨大なコンピュータリソースが必要となる。近年、この計算量は急増しており、約0.5 OOM/年という速度で増加している。

• アルゴリズム効率： モデルの効率性を高めるためのアルゴリズム的進歩も重要な要素である。これは、より少ない計算量で同じ性能を実現したり、同じ計算量でより優れた性能を実現したりすることを可能にする。この進歩もまた、約0.5 OOM/年という速度で増加している。

• 制約解除： AIモデルは、潜在的な能力を有しながらも、デフォルトでは様々な制約によってその能力を十分に発揮できない。例えば、初期のLLMは、文脈理解や論理的推論に苦労していた。しかし、Reinforcement Learning from Human Feedback (RLHF)やChain of Thought (CoT)などの技術革新によって、これらの制約が解除され、モデルの能力が解放されてきた。

図1: 計算量の規模拡大（ページ8）

このトレンドが続けば、2027年までにさらに100,000倍の有効計算量増加が予想され、AIモデルは人間レベルの知能に達するだけでなく、超知能に到達する可能性があると示唆している。

図10: スケールアップの効果（ページ19）

AIの進歩は、単にアルゴリズムの改善だけでなく、計算量の増加によってもたらされることを示している。計算量を増加させることは、AIモデルの能力を向上させるための有効な手段であると考えられる。

図15: 進歩の分解：計算量とアルゴリズム効率（ページ25）

AIの進歩は、計算量の増加とアルゴリズム効率の改善の両方が重要な要素であることを示している。計算量を増加させるだけでなく、アルゴリズムを改善することで、より少ないリソースでより優れた性能を実現することができる。

図21: GPT-4は始まりに過ぎない（ページ41）

AIの進歩は、依然として加速しており、今後の進歩は、過去の経験から予測されるよりもはるかに速い速度で起こる可能性を示している。AIがもたらす影響は、今後ますます大きくなることが予想される。

これらのトレンドを考慮すると、アシェンブレンナーは、2027年までにAIモデルがAI研究者/エンジニアの仕事を行う能力を備える可能性が高いと予測する。さらに、モデルがAI研究自体を自動化できるようになれば、AIの進歩は加速し、指数関数的な成長に繋がると主張する。

２．AGIから超知能へ：知能爆発

アシェンブレンナーは、AIの進歩は人間レベルで止まることはないと主張し、AGIがAI研究を自動化する過程を「知能爆発」と呼ぶ。数百万のAGIがAI研究を自動化することで、人間の10年以上分のアルゴリズム的進歩が1年以内に達成される可能性があり、その結果、急速に超知能が実現されると予測する。

AGIはまずAI研究を特化し自動化し（ページ46-73）、自動化された研究者が 1 億人存在し、それぞれが人間の 100 倍のスピードで作業するようになる（ページ47-53）。もはやそれが2028年までに起こる（ページ53-56）とされる。その後あらゆる科学技術研究に汎化、自動化（ページ67-69）、ロボット工学もハードウェアの問題ではなく単にソフトウェアの問題（ページ71-72）でAGI後の数年で圧倒的なスピードで解決される。私たちは人類がこれまでに直面したことのない最も極端な状況（ページ72-73）に急速に陥る。（この段落引用元：bioshok(INFJ) https://x.com/bioshok3/status/1798134650289934417）

超知能は、人間の理解を超える創造的な行動や、複雑な問題の解決を可能にする。さらに、超知能は他の分野の研究開発を加速させる可能性があり、ロボット工学、科学、技術などの分野で飛躍的な進歩が期待される。同時に、超知能は軍事的な優位性を生み出し、新たな脅威をもたらす可能性も孕んでいる。

図24: AI研究の自動化（ページ47）

AIがAI研究自体を自動化することで、AIの進歩は加速し、超知能が急速に実現する可能性を示している。超知能の実現は、人類にとって大きな転換期となる可能性がある。

３．課題

アシェンブレンナーは、超知能の実現に向けた課題として、以下の4点を指摘する。

3a. 兆ドル規模のクラスタへの競争

超知能の実現には、膨大な計算リソースが必要となる。アシェンブレンナーは、AIの収益が急増するにつれて、2030年までに、1兆ドル以上の規模のGPUクラスタが構築される可能性があると予測する。このようなクラスタは、電力消費量においても、米国の発電量の20%以上を必要とするため、電力確保が大きな課題となる。

3b. 研究室のロックダウン：AGIのためのセキュリティ

アシェンブレンナーは、現在のAI研究室のセキュリティ対策は、国家レベルの脅威には十分ではないと指摘する。特に、AGIのアルゴリズム的秘密やモデルの重み（AIモデルのデータ）は、国家機密レベルで守られる必要がある。中国などの国家が、これらの情報を盗み出すことは、AI開発の競争に大きな影響を与えるだけでなく、AIが安全に使用されるかどうかのリスクを高めることになる。

3c. 超アライメント

アシェンブレンナーは、人間よりもはるかに賢いAIシステムを制御することは、未解決の技術的課題であると主張する。現在のAIアライメント技術は、人間レベルのAIシステムには有効であるが、超知能に対しては機能しない可能性が高い。超知能が誤って使われた場合、その影響は壊滅的なものになる可能性があるため、アライメント技術の開発は極めて重要である。

3d. 自由世界は生き残らなければならない

アシェンブレンナーは、超知能は経済的、軍事的に圧倒的な優位性を提供すると主張する。中国は、AI開発において依然として競争力を持つ可能性があり、アメリカは、中国や他の権威主義国家とのAI開発競争に勝ち抜く必要がある。超知能の開発競争は、自由世界にとって存亡に関わる問題である。

超知能発明による圧倒的な技術力による現状の核抑止体制の終了（核兵器やステルス潜水艦を先制的に無力化可能）（ページ126-140）、根本的に異なる世界秩序への移行過程において国家安全保障上の問題を急速に感じた中国（ページ126-140）による先制攻撃（極端には特殊作戦部隊によるAI関連施設への攻撃）や戦争の可能性（ページ141-155）が克明に主張されている。（この段落引用元：bioshok(INFJ) https://x.com/bioshok3/status/1798134650289934417）

４．プロジェクト

アシェンブレンナーは、AGI開発が激化するにつれて、米国政府が「プロジェクト」と呼ばれる、国家レベルのAGI開発プロジェクトを開始すると予測する。これは、核兵器開発のマンハッタン計画のような、政府主導の取り組みである。

アシェンブレンナーは、AGIは、核兵器と同様に、国家安全保障にとって極めて重要な技術であると主張する。そのため、民間企業が単独で超知能を開発することは、安全保障上のリスクが高すぎる。政府がプロジェクトを主導することで、超知能のセキュリティ対策、安全対策、そして軍事的な応用において、適切な管理と規制を行うことが可能になると主張する。

５．結論

アシェンブレンナーは、AIの急速な進歩を踏まえると、2030年までに、超知能が実現する可能性が高いと考えている。超知能は、人間の社会、経済、軍事、さらには人類そのものを変革する可能性を秘めている。彼は、AIの進歩を楽観的に見ながらも、超知能の潜在的なリスクを認識し、その安全な開発と制御のための対策を呼びかけている。

アシェンブレンナーは、超知能の開発は、自由世界の存亡に関わる問題であると主張する。アメリカは、超知能開発においてリーダーシップを維持し、中国や他の権威主義国家との競争に勝ち抜く必要がある。また、超知能が誤って使用されるリスクを最小限に抑えるために、国際的な協力と安全対策の強化が不可欠である。

アシェンブレンナーの論文は、AIの未来に関する重要な示唆を与えている。彼の分析は、AIの潜在的な影響を理解し、その進歩を人類にとってより良い方向に導くための重要な一歩となる。

AIにおける米中の対立は不可避と言える理由はなにか？

論文「状況認識：来たる10年」は、AIにおける米中の対立が不可避であると主張し、その理由として以下の点を挙げている。

1. 超知能は圧倒的な軍事力を提供する
   論文は、超知能が軍事力のバランスを根底から覆すほどの強力な技術であると主張している。超知能を持つ国は、核兵器を先制的に無力化したり、新たなタイプの兵器を開発したりすることで、相手国を圧倒的な軍事力によって支配することが可能になる。超知能は、従来の軍事力とは比較にならないほどの威力を持ち、その開発競争は、国家にとって存亡に関わる問題となる。

2. 中国は超知能開発で遅れを取り戻す意欲を持っている
   論文は、中国が超知能開発において遅れをとっているものの、米国を追い抜くためにあらゆる手段を講じると予想している。中国は、米国よりも電力供給において優位性があり、大量のGPUを製造できる可能性も秘めていると指摘している。また、中国は、米国企業のAI研究室へのスパイ活動や情報窃取を積極的に行い、米国が開発した技術を盗み出す可能性も高いと主張している。

3. 超知能開発は国家安全保障上の問題である
   論文は、超知能の開発は、単なる技術開発ではなく、国家安全保障上の問題であると主張している。超知能を持つ国は、世界の支配力を強め、他の国々に対する軍事力や経済力において優位性を発揮できるようになる。そのため、超知能開発は、国家間の競争を激化させ、対立を招く可能性がある。

4. 米中間の政治体制の違いが対立を促進する
   論文は、米国は自由主義的な民主主義国家であり、中国は共産主義的な権威主義国家であることを指摘している。両国の政治体制は大きく異なり、価値観や目標も大きく異なるため、AI開発における協力は困難であると予想している。

これらの理由から、論文は、AIにおける米中の対立が不可避であると主張している。両国は、超知能開発において、それぞれが世界を支配したいという強い意志を持っており、その競争は、軍事力や経済力だけでなく、イデオロギーや価値観の衝突も伴う可能性がある。

対立を避ける可能性
論文は、米中間の対立を避けることは困難だと認識しているが、それでも、いくつかの可能性を提示している。

国際的な協力と安全基準の構築： 超知能の開発と使用に関する国際的な協定を締結し、非拡散体制を構築することで、対立を防ぐことが可能かもしれない。
超知能の平和的な利用のための共同研究： 超知能の開発は、軍事利用だけでなく、医療、教育、環境問題など、人類共通の課題解決に役立つ可能性もある。米中が協力して超知能の平和的な利用のための研究開発を進めることで、対立を緩和できるかもしれない。

しかし、これらの可能性を実現するためには、両国が互いの価値観を理解し、協力する意志を持つことが重要だ。

具体的な提案

論文「状況認識：来たる10年」の筆者であるレポルド・アシェンブレンナーは、アメリカが超知能開発においてリーダーシップを維持し、中国や他の権威主義国家との競争に勝ち抜くには、以下の体制の構築が必要だと主張している。

1. 国家レベルのAGIプロジェクト「プロジェクト」の設立
   理由： 超知能は、核兵器と同等の重要性を持ち、国家安全保障にとって極めて重要な技術であるため、民間企業単独では安全保障上のリスクが高すぎる。
   内容： 政府主導のプロジェクトとして、主要なクラウドコンピューティングプロバイダー、AI研究室、政府機関が協力し、超知能の開発、セキュリティ対策、安全対策、軍事的な応用を行う。
   出典： 論文の第4章「プロジェクト」（ページ141-155）

2. AI研究室のセキュリティ強化
   理由： 中国などの国家によるスパイ活動や情報窃取を防ぐことが重要であり、現行のAI研究室のセキュリティ対策は、国家レベルの脅威には十分ではない。
   内容： 国家機密レベルのセキュリティ対策を導入し、アルゴリズム的秘密やモデルの重みを保護する。具体的には、従業員の厳格な身元調査、機密情報施設（SCIF）での研究活動、外部との接触制限、ハードウェアの暗号化などが必要となる。
   出典： 論文の第3章「課題」の第2節「研究室のロックダウン：AGIのためのセキュリティ」（ページ89-104）

3. 電力供給の確保
   理由： 超知能の開発には、膨大な電力が必要となるため、電力供給の確保が課題となる。中国は、米国よりも電力供給において優位性を持っているため、米国は、電力確保を重点的に取り組む必要がある。
   内容： 米国は、天然ガス発電など、迅速かつ大規模な発電能力を確保するための政策を実施する必要がある。また、電力網の強化、許可手続きの簡素化なども必要となる。
   出典： 論文の第3章「課題」の第1節「兆ドル規模のクラスタへの競争」（ページ75-88）

4. 国際的な協力と不拡散体制の構築
   理由： 超知能は、世界全体にとって大きな影響を与える技術であるため、国際的な協力が必要となる。また、超知能が誤って使用されるリスクを防ぐために、不拡散体制を構築する必要がある。
   内容： アメリカは、国際的な枠組みを構築し、他の国々との協力の下、超知能の開発と使用に関するルールを定め、不拡散体制を構築する必要がある。また、超知能技術の平和的な利用のための国際的な協力体制も構築する必要がある。
   出典： 論文の第3章「課題」の第4節「自由世界は生き残らなければならない」（ページ126-140）

5. 人材育成
   理由： 超知能の開発には、高度な知識と技術を持った人材が必要となるため、人材育成を重点的に取り組む必要がある。
   内容： STEM分野における教育・研究を強化し、優秀なAI研究者を育成する。また、AI倫理や安全に関する教育を普及させる。
   出典： 論文の第3章「課題」の第4節「自由世界は生き残らなければならない」（ページ126-140）

論文の重要性

「状況認識：来たる10年」は、AIの未来に関する分析としては、非常に詳細で具体的な内容を含んでいる点が重要である。アシェンブレンナーは、単にAIの潜在的な脅威を指摘するだけでなく、具体的な技術的な進歩、経済的な影響、国家安全保障上の意味、そして政府の役割について、具体的なデータと分析に基づいて論じている。

この論文は、AIの研究者、開発者、政策立案者、そして一般の人々に、AIの未来について真剣に考えるきっかけを与えるものである。AIの急速な進歩は、人類にとって前例のない変化をもたらす可能性があり、その変化に対応するための準備は、今すぐ始めるべきである。

我々生成AIガチ勢は次のようなことを少なくとも考えるべきだ。
中国製などのAIツールは、
・自分のデータの漏洩
・顧客のデータの漏洩
・依存時の契約変更リスク（金銭などの高額要求）
・自分や顧客が積むノウハウの遮断（米中対立によるサービス停止）
・我が国に敵対的な勢力の成長促進
などのリスクがある。

だから便利で安いツールを見つけたからといって、無邪気に喜ぶものではない。彼らは、欧米から締め出されつつある。そこで西側で一番意識の低い日本に取り入ろうとしているに過ぎない。西側の結束を損なうことは日本にとっても西側にとっても人類にとってもマイナスである。

どうしても使いたいなら、オープンソースのものに限定し、自分が管理できる環境でのみ利用する必要がある。また、利用にともなうデータを相手に提供しなこと、まして相手のシステムの改善に協力しないことが重要である。

感想

この論文は、ある程度、不安を煽る要素も含まれている。超知能の脅威を過大評価し、AIの進歩を過度に悲観的に見ているように感じられる部分もある。

AIの未来は、まだ不確かである。しかし、アシェンブレンナーの論文は、その不確実性の中で、私たちが直面する可能性のある課題と、その課題を乗り越えるための方法について、重要な示唆を与えてくれる。AIの未来は、私たち自身の選択によって大きく左右される。この論文を読み、私たち自身の責任を認識し、AIの進歩をより良い方向に導くために、積極的に行動していく必要がある。