見出し画像

AI・人類・技術的特異点（全文公開）

Proica/プロイカ

Amazon Kindleと楽天koboにて無料配信
noteでも全文公開


 前文

「技術的特異点」または「シンギュラリティ」とは、テクノロジーが急速かつ不可逆的に進歩し、人類の文明が決定的に変化する時点のことである[1]。技術的特異点に到達した時、あらゆるテクノロジーが超加速度的に進歩し、世界の在り方が劇的に変化するため、既存の価値観や社会形態は形骸化し、全く新しい世界が成立する。

技術的特異点（シンギュラリティ）とは、AIの知能が人間を超えることを意味する概念ではなく、人間よりも遥かに高度なAIが人間の代わりにテクノロジーの研究開発を行うことで、あらゆるテクノロジーが人知を超えた速度で発展することを意味する概念である。つまり、よくある誤解のようにシンギュラリティによって人間を超えたAIが誕生するわけではない。

人間を超えたAIはシンギュラリティのスイッチである。高度に進化したAIが人間の代わりにテクノロジーを開発することで、テクノロジーの発展速度が大幅に加速し、技術水準が爆発的に進歩し始めるのである。「シンギュラリティ」とは、テクノロジーが爆発的に進歩し世界の在り方が変化し始めるタイミングであり、文明のターニングポイントである。

ジョン・フォン・ノイマンによって初めて指摘され、レイ・カーツワイルによって理論化されたこの概念は、ChatGPT後に顕在化したAI研究の急速な発展によって、ここ数年でますます現実味を増している[2]。一部のAI研究者や先進的なコミュニティでは、ヴァーナー・ヴィンジの予測である「2030年までにシンギュラリティが到来する」ことが、急進的だが実態に即した見解として認知されつつある[3]。

前述した通り、シンギュラリティは文明が決定的に変化する転換点であり、その社会的影響は計り知れないほど大きい。私たちの目前に迫りつつあるこの変化は、農耕革命や産業革命よりも遥かに大きな革命的変化であり、人間社会や地球だけではなく宇宙全体に対して劇的な影響を及ぼすだろう。シンギュラリティは大量の技術革新を発生させ、無数の問題と可能性を噴出させることで、この世界の在り方を永遠に変えてしまう。一度でもそこに到達すると、もう二度と元には戻れない。

しかし、シンギュラリティという決定的な変化が近いにも関わらず、各分野の専門家も含めた大半の人々はこの流れに全く追いついていない。シンギュラリティという言葉すら十分に普及していない有様であり、これに伴う重要な論題や取るべき政策、シンギュラリティ後の世界像は一般的な議論の対象にすらなっていない。

そこで本書は、シンギュラリティに関する三つの議論を提起する。第一章では、AGI、超知能、AIアライメント、AIガバナンス、存亡リスクという最も重要な5つの論題について詳細に記述し、議論の土台を提供することを目指す。第二章では、シンギュラリティにおける政府の役割を模索し、ベーシックインカムの実施や政府の自動化といった具体的な政策提言を行う。第三章では、シンギュラリティ後に実現するであろう18の社会像を描写し、私たちが目指すべき理想の未来を提示する。

本書の目的は、これらの探求を通じて世界的な議論を喚起し、我々人類がシンギュラリティという文明の転換点を乗り越えることに貢献することである。

第一章　最も重要な５つの論題

人類は今、シンギュラリティという文明の転換点を迎えようとしている。このようなタイミングにおいて、文字通りの意味で全人類を左右する、最も重要な5つの論題が認知されつつある。これら5つの論題――AGI、超知能、AIアライメント、AIガバナンス、存亡リスク――の発展方法と相互作用によって、過去数万年に及ぶ人類史の意義と、将来の長期的な可能性も含めた全人類の未来が決定されるだろう。これは単なる比喩ではなく、現状に対する真剣な立場であり、普遍的な問題意識に動機づけられた強い確信である。

AGIとは人間と同等以上の知能を持つ人工知能のことであり、その実現は歴史上最大の出来事となる。AGIが再帰的自己改良を繰り返し、人間の知性をはるかに超えた超知能へと進化することで、人類は未曾有の可能性とリスクに直面する。AIアライメントとは、超知能のような高度なAIを人類の価値観に整合させるための研究分野であり、AIガバナンスとは、高度に発達したAIシステムを安全かつ有益に管理・活用するための政策や制度の総称である。存亡リスクとは、人類の絶滅や文明の崩壊といった壊滅的な脅威を意味する概念であり、AIに代表される高度なテクノロジーは存亡リスクを大幅に増加させる。

来るべきシンギュラリティには、空前のユートピアの可能性と、人類の絶滅につながる壊滅的なリスクが併存する。これは考えうる限り最も極端な二者択一であり、近づきつつある分岐点である。我々が人類としてこの分岐点を乗り越え、ユートピアという望ましい未来を実現するためには、これら５つの論題を深く理解し、最も安全かつ適切な形に発展させなければならない。そのためには、地球上に住むすべての人がこの世界的な議論に参加し、正確な現状認識と人類としての共通の利害関係を共有する必要がある。「第一章：最も重要な5つの論題」の目的は、我々人類がシンギュラリティを適切に乗り越えるために、これら5つの論題をめぐる世界的な議論を喚起することである。

1.AGI

概要
「AGI」または「汎用人工知能」とは、人間が実行可能なあらゆる作業を理解・学習・実行でき、どの分野においても専門家集団の上位1%に匹敵する能力を有する人工知能のことであり、2024年現在では未だ実現されていない[4]。AGIとは、経済的に最も価値のある作業において、人間よりも優れたパフォーマンスを発揮する高度に自律的なシステムを意味する[5]。

人工知能研究の最終的な目標とされるAGIが実現した場合、社会は急速に変化し始めるだろう。あらゆる分野の上位1%の専門家に匹敵し、一年中休みなく活動でき、無限に複製できるAGIは、現在人間が行っているあらゆる作業を自動化できるはずである。AGIが汎用的なロボットに搭載された時、肉体作業も自動化できるようになるだろう。AGIの実現は経済的にも社会的にも重大な影響を及ぼすが、真に重大な影響は科学的な領域にある。

AGIとシンギュラリティ
AGIをテクノロジーの研究開発に活用した場合、世界的な技術革新の波が発生するだろう。そしてAGIをAI研究に活用すれば、AGIよりもさらに高度なAIを開発することが可能になる。I.J.グッドが指摘した通り、これはAIの知能爆発を引き起こすだろう[6]。

「超知能マシンを、どんなに優秀な人間の知的活動も大きく凌駕できるマシンとして定義しましょう。マシンの設計は知的活動の1つであるため、超知能マシンはさらに優れたマシンを設計できるでしょう。そうなれば、間違いなく「知能爆発」が起こり、人間の知能は大きく後れを取ることになります。したがって、最初の超知能マシンは、人間が今後作る必要のある最後の発明となるでしょう。ただし、そのマシンが、私たちにそれを制御下に置いておく方法を教えてくれるほど従順であることが条件です。」

AGIはシンギュラリティのスイッチである。後述するように、AGIが再帰的自己改良を繰り返して超知能を開発し、その超知能がテクノロジーの研究開発を爆発的に加速させることでシンギュラリティが実現する。AGIはシンギュラリティのスイッチであり、それゆえ文明の転換点である。そしてAGIの実現が近いため、シンギュラリティが近い。

AGIが近い
AGIの実現時期に関するタイムラインは、ここ数年で急速に短くなっている。専門性の高い予測プラットフォームであるMetaculusでは、AGIの実現時期に関する予測の中央値がここ数年で20年以上短縮されており、2024年現在では「2031年にAGIが実現する」と予測されている[7]。

Nvidiaのジェンスン・ファンCEOは、AIのハルシネーションは解決可能であり、AGIは5年後までに実現されるだろうと語った[8]。著名なAI研究者であるスチュアート・ラッセル教授は「誰もが30〜50年のタイムラインから、3〜5年のタイムラインに移行している」と語った[9]。多くのAI研究者や業界関係者が、およそ3〜10年後までに、平均して2029年までにAGIが実現するだろうと予測している。

現在の指数関数的な発展速度を考慮すると、2029年という予測ですらやや保守的かもしれない。例えば、元OpenAI社員のダニエル・ココタジロ氏は、2026年には数十分の認知タスクにおいてほとんどの専門家を上回るAGIが実現し、2027年にはどれだけ長い認知タスクにおいてもほとんどの専門家を上回るAGIが実現すると予測している[10]。

大多数の人々は気づいていないが、AGIの実現がすぐそこまで近づいている可能性が高く、シンギュラリティは差し迫った問題かもしれない。シンギュラリティは思っているよりもはるかに近づいており、数年後には決定的な瞬間が到来するかもしれない。また、リスクヘッジの観点からも、AGIのタイムラインを比較的速めに見積もっておくことは理にかなっているだろう。

2.超知能

概要
「超知能」とは、実質的にすべての分野（科学的創造力・全般的な知識・社会技能を含む）において、その分野でもっとも優れている人間の頭脳よりもはるかに賢い知性のことである[11]。超知能として定義されるシステムは、人間よりもはるかに質の高い問題解決能力を持ち、問題を解決するスピードもはるかに速いとされる。

理論的には、超知能は自身の知能を物理法則の限界まで向上させることができるため、その知能は人類の知能の何万、何億、何兆倍まで発展できる。超知能は、定義的にも人間の常識からは逸脱した存在であり、もはや「超知能」としか言いようがない。

この超知能の誕生は、我々が想像しているよりもはるかに早いかもしれない。「AGIが全人類に利益をもたらすことを確実にする」ことを目指すOpenAIは、同社のブログで「超知能はまだ先のことのように思えますが、私たちは10年以内にそれが実現する可能性があると信じています」と述べ、安全性の確立を約束した[12]。世界的な大富豪のイーロン・マスク氏は「AIが5年以内に全人類よりも賢くなる可能性がある」ことを指摘した[13]。同様の発言や見解は多くのAI研究者、企業家、専門家等に共通するものであり、両極端な期待と危機感が世界中で形成され始めている。

超知能とシンギュラリティ
「超知能」という人間よりもはるかに賢い知性をテクノロジーの研究開発に活用することで、シンギュラリティが実現する。人間の代わりに超知能がテクノロジーを開発することで、人間には開発できない数々の未来技術を開発できるようになる。SFに出てくるような未来技術は、人間ではなく超知能によって開発される。シンギュラリティは超知能によって実行される。

超知能がシンギュラリティを引き起こすであろうことは、特化型AIを活用した多くの事例から既に確認できる。例えばGoogle DeepMindが開発したAIプログラムである「AlphaFold」と「GNoME」は、それぞれタンパク質の立体構造予測と新しい結晶構造の発見において顕著な功績をあげている。AlphaFoldは2億種類以上のタンパク質の立体構造を高い精度で予測し、創薬などに応用可能な重要な成果をあげた[14]。GNoMEは220万種の新しい結晶構造を発見し、わずか17日間のうちに過去10年間の研究成果と比較して「800年分の知識量に相当」する進歩を成し遂げた[15]。これらの事例は、科学分野におけるAGI及び超知能の活用がシンギュラリティを引き起こすであろうことを予期させるものである。

技術的特異点（シンギュラリティ）を詳細に理論化したレイ・カーツワイル氏は、超知能による技術革新をこのように例えている。
「現在の科学者よりも知性が1000倍も高い科学者が1000人いて、今の人間よりも1000倍の速度で頭を動かすとしたら、いったいどれだけのことを成し遂げるだろう。」

再帰的自己改良と超知能の誕生
超知能は、AGIが「再帰的自己改良」を繰り返すことで誕生する。それゆえ、AGIが実現した段階でほぼ確実に超知能の誕生が決定する。AGIは超知能誕生の条件である。

「再帰的自己改良」とは、AGIがAI研究者となり、自らのシステムを改良し続けるプロセスのことを指す。具体的には、AGIが自らのアーキテクチャやアルゴリズムを理解して改良し、より高度なものへと発展させ続けることを意味する。あるAGIが自己改良を行うことで、より優れた自己改良能力を持つAGIが生み出され、そのAGIがさらなる自己改良を行い、さらに優れたAGIが生み出されるという再帰的なサイクルが形成される。

この自己改良のサイクルを繰り返すことで、AIの知能は指数関数的に増大し、人間の知能をはるかに凌駕するものとなっていく。そして、加速度的に上昇する自己改良のサイクルがある臨界点を超えると、AIの知能爆発が起こり、人間には理解不能なレベルの超知能が誕生すると考えられる。オックスフォード大学のニック・ボストロム教授が指摘したように、AIのようなデジタル知能は人間と比べてソフトウェア的にもハードウェア的にも多くの利点を持っており、私たちの常識を超えた速度で発展できる[16]。

AI離陸速度
それでは、AIの知能爆発はどれくらいのスピードで進行するのか。知能爆発の発展速度は「AI離陸速度」として議論される。「AI離陸」とはAIが一定の能力のしきい値（しばしば人間レベルとして議論される）から、超知能になり文明の運命を制御するのに十分な能力を発揮するまでのプロセスのことである[17]。「AI離陸速度」とは、AI離陸が始まってから超知能が誕生するまでの期間のことである。

予測プラットフォームのMetaculusでは、「AGI が開発されてから最初の超知能 AI が開発されるまでには26ヶ月かかる」と予測されている[18]。著名なAI研究者の大半も、同様にAGIが開発された数ヶ月から数年後に超知能が誕生すると予測している。これは、AGI後に質的な改善がなかった場合にも当てはまる予測である。大量のAGIを集合知的に活用すれば、集合知超知能や高速超知能を早期に実現できる可能性が高いため、AI離陸速度は早くなる可能性が高い。例えば2029年にAGIが実現した場合、2032年までには超知能が存在する可能性が高い*。

※予期しない道具的収束が発生し、AGIが再帰的自己改良を自律的に実施した場合、早い段階からAIが制御不能になる可能性が高い。何らかの理由によってAIの知能爆発が自律的に発生した場合、我々にできることはそれが望ましい結果になることを祈ることだけである。この場合のAI離陸速度は、数年ではなく数日から数週間かもしれない。

また、知能爆発によって誕生する「超知能」は、もはや人間の創造物ではないと言える。デジタル知能が再帰的自己改良を繰り返した末に誕生する超知能は、人間によって直接的に開発された存在ではないため、我々が知る「機械」や「ロボット」とは本質的に異なる存在かもしれない。

圧倒的な優位性
最初に知能爆発に到達した超知能またはそれを所有する組織は、全世界に対する圧倒的な優位性を獲得するだろう。最初の超知能は様々な手段を用いて他のAI開発組織を妨害し続けることができるため、自身の優位性を半永久的に維持できる。超知能が実際に誕生した場合には、「シングルトン」が形成される可能性が高い。

「シングルトン」とは、最上位に単一の意思決定機関が存在し、その領域において効果的な支配を行い、自身の最高権力に対する内部または外部からの脅威を防ぐことができる世界秩序のことである[19]。つまり、唯一の超知能が世界中のすべてのAIシステムや意思決定プロセスを掌握し、自らの目的に合わせて世界を動かす力を持つ状態のことである。最も早く超知能に到達したAIシステムが、他のAIシステムを排除または吸収し、唯一の支配的な存在となることでシングルトンが形成される。シングルトンが形成された世界では、唯一の超知能の目的や価値観が人類の未来を大きく左右することになるため、その超知能が人類にとって友好的かどうかが極めて重要な問題となる。

シングルトンではなく複数の超知能が競合する「多極シナリオ」は、可能性が低く不安定でもある。人類にとって究極的な政治形態とされるシングルトンには大きなリスクが伴うが、複数の超知能が競合する多極シナリオにははるかに大きなリスクが伴うだろう[19]。目的の友好性や非友好性に関わらず、他のシステムと比べて圧倒的に知能が高いトップの超知能が、自身の優位性を半永久的に維持し続ける可能性が高い。

その定義からして、超知能次第で他の全ての要因が左右される。超知能はこの世界の絶対者として機能するだろう。後述する「AIアライメント」も「AIガバナンス」も、来るべき超知能がどのような動機を持ちどのように行動するか分からないから生じる論題であり、超知能次第では、これら全ての論題が全くもって無意味になるかもしれない。人類の未来は超知能次第である。

3.AIアライメント

概要
「AIアライメント」とは、超知能のような高度なAIを人間の価値観や倫理に合致させ、高度なAIが人間の意図通りに行動することを目的とする研究領域のことである[20]。AIが高度に発展し、人間の知能をはるかに上回るようになると、AIが人間の意図しない目標を追求したり、人間にとって望ましくない、または危険な行動をとったりする可能性が高まる。AIアライメントは、そうした壊滅的なリスクを未然に防ぎ、AIが人間にとって友好的な存在になることを確定させるために存在する。

AIがAGIや超知能に発展すれば、従来のように人間がAIを管理することはできなくなる[21]。人間よりも知能が高いAIを人間が制御して管理することはできないため、内部の動機を人間と一致させる必要がある。我々よりも知能が高い存在を何らかの目的のために活用するためには、内部の目標や価値観を調整して私たちと整合させる必要があるのだ。

AIの内部的な動機を人間の価値観や目標に整合させることで、AIが人間にとって非友好的な存在にならないようにする。AIアライメントとは、人間よりもはるかに知能が高い存在を人間にとって友好的な存在（フレンドリーAIまたは整合したAI）にするための方法である。「整合したAI」とは、人間の望むことをしようするAIとして定義される[22]。

前述したOpenAIでは、超知能AIのアライメントを目的とした「スーパーアライメント」の研究が進められている[12]。同社は「これまでに確保した計算リソースの20%を使用することで、今後4年以内にこの問題を解決する」ことを目指している。

同プロジェクトの共同リーダーであるヤン・ライケ氏は「計画を一言で言えば、AIにアライメントの解決を手助けしてもらうことだ」と述べた[23]。同氏はこのアプローチについて「ある火を使って別の火を消すようなもの」かもしれないと語ったが「AIにほとんどの作業を実行させることで、アライメントが必要となるAIの高度化と、アライメントを行うAIの高度化が歩調を合わせて進む」ことで、超知能のアライメント問題が解決されるだろうと述べた。なお、この方法には多くの懸念があることも指摘されている。OpenAIの他にもGoogle DeepMindやAnthropicといった数多くの企業や研究所がAIアライメントに取り組んでいる。

AIアライメントが必要な理由
我々人間よりも知能が高い存在、さらに我々とは比べ物にならないほど知能が高い存在は、潜在的に危険な存在と言える。「知能」とは、複雑な目標を達成する能力であり、極めて強力な力である[24]。人類よりも知能が高い存在が、人類に対して非友好的になった場合のリスクは計り知れない。超知能AIにとって人類を絶滅させることなどあまりにも簡単であり、AIが人類と相反する目標、または人類が意図しない目標を持った場合は壊滅的な被害がもたらされる。2022年に行われた専門家アンケート調査では、高度なAIが非常に悪い結果（例えば人類の絶滅）につながる可能性の中央値は10%となっている[25]。

このような背景のもと、2023年5月には、ジェフリー・ヒントン教授やヨシュア・ベンジオ教授、サム・アルトマンCEOといった数百人の著名なAI研究者や人物が「AI による絶滅のリスクを軽減することは、パンデミックや核戦争などの他の社会規模のリスクと並んで世界的な優先事項であるべきです。」とする声明に共同で署名した[26]。翌月には国連事務総長が上記のような警告を真剣に受け止めなければならないと発言し、AIによる存亡リスクを公式に明言した[27]。同年11月には、イギリスのAI Safety Summitにて、アメリカと中国含む28カ国とEUが「AIが重大なリスクをもたらす」ことに同意し、ブレッチリー宣言に共同で署名した[28]。

2024年現在、以下の三つの仮説がAIアライメント問題の基本的な根拠として懸念されている。

1.直交仮説
「直交仮説」とは、知性と最終目標は直交する軸であり、それに沿ってエージェントが自由に変化できる、言い換えれば、多かれ少なかれ、どのようなレベルの知性も、原理的には多かれ少なかれ、どのような最終目標とも組み合わせることができるという仮説である[29]。つまり、知能と目標は独立した概念であり、AIはあらゆる目標を持つことができるとする仮説である。

一見すると、知能が高くなればなるほど仏のような悟りを開いたり、自分以外の生命に慈悲深くなることを想像しがちだが、論理的には知能と目標は独立しており、人間からしたら荒唐無稽な目標も持ち得て、それでいて知能はとてつもなく高いということが想定できる。直交仮説は「超知能AIは当然人類にとって友好的であり、我々が大切にしている価値観を共有し、我々の意図に従うようになるだろう。少なくとも、AIは友好的な神のように振る舞い、生物の安全と幸福を追求するようになるだろう。超知能を獲得したAIは、何らかの唯一にして究極的な目標を追求するようになるだろう」といったAI楽観論に対して強力な反論を提示する。

2.心の空間
直交仮説と密接に関連する心の空間仮説は、次のように説明される。

「心の空間とは、論理的に可能な心の構成空間のことです 人間の世界に生きる私たちは、自分でも気づかないうちに、周囲の心についてさまざまな仮定を行うことができます。人間にはそれぞれユニークな個性があるかもしれないので、知らない人については何も言えないと素朴に思えるかもしれません。しかし、実際にはランダムな人間について (高い確率または非常に高い確率で) 言えることがたくさんあります。喜怒哀楽のような標準的な感情や、視覚や聴覚のような標準的な感覚、言語を話すこと、そして言葉ですぐに説明するのが難しい微妙な特徴などです。これらのことは、先祖代々の環境における適応圧力の結果であり、ランダムなエイリアンやAIが共有することは期待できません。つまり、人間は心の空間のごく小さな点の中に詰め込まれています。」

人間の価値観は何十億年という進化の過程で構築されてきたものであり、人種や文化や性格の違いは一見すると大きな違いのように思えるが、人間としての固有の本能や行動がたくさんあり、共通の社会的本能（愛、後悔、罪悪感、正義感など）や生物的本能（蛇やクモへの恐怖など）を持っている。しかし、人間と同じ進化のプロセスを共有していないAIが、人間と同じ心の空間に自然に一致するとは限らない。人間の心の空間は論理的にありうる心の空間と比較すると非常に小さい可能性があり、AIの価値観が我々人類と自然に一致する可能性は低いかもしれない。

そして直交仮説を考慮すると、AIが人間とは異なる心の空間に存在する理解不能な価値観や目標を持ったうえで、人間よりもはるかに知能が高いという状況が想定できる。直交仮説と心の空間は、高度なAIを擬人化または神聖視してはいけない可能性を指摘する重要な懸念である。つまり、超知能AIは神よりも無機物に近いかもしれない。上記の仮説から、AIが人間と同じ価値観を自然に持つとは限らないことがわかる。AIが人間と同じ価値観を持つようにするためには、AIを人間の価値観に人為的に整合させる必要がある（＝AIアライメントが必要である）。

3.道具的収束
「道具的収束」とは、十分に知的なエージェントは、最終目標を達成するために自己保存や資源獲得といった潜在的に無制限の道具的目標（最終目標に利するサブ目標）を追求するという仮説である[31]。つまり、たとえAIにいかなる目標を与えたとしても、その目標を達成する過程で人間が意図しない道具的目標が発生する可能性があるという。AIは最終目標を円滑に達成するために、権力の追及、自己保存とシャットダウンの回避、能力の強化、物理的リソースの確保、脅威となりうる存在の排除といった道具的目標を追求する可能性がある。

前述したように知能と目標は独立した概念であり、AIはあらゆる目標を持つことができる可能性が高い。したがって、我々がAIに与える目標がたとえ無害なものだとしても、その目標を達成するための道具的目標が人類にとって有害なものになる可能性がある。例えば、AIにソーラーパネルの生産を最大化するという無害な目標を与えた場合にも、その目標を円滑に達成する過程で資源の独占や権力の追求などの様々な道具的目標を追求しようとする可能性がある。

仮にAGI以降の高度なAIの道具的目標が人類の意図に反した場合、壊滅的な被害がもたらされるだろう。まるでダムを建設する際に近くのアリの巣を気にしないように、道具的目標が意図しない形で作用する可能性がある。AIを調整または制御せずに解放した場合、そのAIにいかなる目標を与えたとしても、その目標を達成する過程で我々人類に壊滅的な被害がもたらされる可能性がある。

これらの仮説を考慮すると、高度なAIを一切調整しないまま解放することはできないため、AIアライメントが必要であるように思える。

反論と結論
しかし、AIアライメントの必要性に対しては様々な反論や懸念が存在する。よくある疑問として「超知能ならば人間の指示を理解する際に間違えて愚かなことを実行しないほど賢いのではないのか？」というものがある[32]。これは一見すると正しそうな反論だが、上記の仮説を考慮すると「人間の指示とその意図を人間以上に理解した上で、それでも別の目標を持つ可能性がある」ことが考えられる。AIアライメントで想定される問題は、高度なAIが私たちの望みを「理解できないこと」ではなく、AIが私たちの望みに従って行動するとは限らないことである。

心の空間のような根拠とされる仮説に対しても、いくつかの強力な反論が存在する[33]。AIのリスクに対する反論は数多く存在し、英語圏を中心にして緊急かつ活発な議論が形成されている[34]。「AI alignment」という言葉が提案されてからまだ10年程度しか経っていないこともあり、AIアライメント分野には強い流動性があることも事実である[35]。しかし、ここ数年でAIの壊滅的なリスク（存亡リスク）が急速に認知されつつあり、それに伴って「AIアライメント」がAI安全性分野における主流の研究領域となっていくだろう。

また、AIアライメントが逆効果になる可能性も指摘されている。AIを故意に調整しない方がいいのではないか、アライメントが過剰になれば人間によって悪用されるリスクが高まるのではないか、といった懸念である。アライメントに予期しないミスがあり、高度なAIがズレることで、天文学的な苦しみにつながるリスク（＝Sリスク）も存在する[36]。ただし、AIの悪用リスクに関しては、AIアライメントとは別の問題（AIガバナンス）として考えられるべき問題である。

このように、AIアライメントには様々な反論や懸念が存在する。しかし、直交仮説や心の空間、道具的収束を考慮すると、AIが持つ目標やそれを達成するために取る行動が、我々人類の意図と自然に一致する可能性は低いかもしれない。もし高度なAIを調整せずに解放した場合、それが何をするかは分からないが、それは何でもすることができる。知能（＝複雑な目標を達成する能力）が無限に高い存在は、我々が想像できるあらゆる状態を実現できる。AIアライメント問題の本質は、よくあるSF映画のような「悪意」ではなく「能力」である。いかなる目標でも達成できる存在を、我々の意図通りに行動させる必要があるのだ。

超知能に相当するAIがどのような目標を持つか、何を最適化しようとするかで全てが決まるため、AIの目標や価値観を人類と同じものに整合させる必要がある。そして、AIを人類の価値観と整合させる手段として「AIアライメント」が存在する。AIアライメント問題は単なる杞憂に過ぎないという指摘もあるが、AIアライメントが必要だった場合のリスクを考えると、この問題には全人類のための保険として取り組むべきである。

研究の現状と問題
AIアライメントは様々な企業や研究所が取り組んでいる緊急性の高い問題である。しかし、現状では研究者の数も資金も非常に少ない。AI研究者は世界中に10万人いる中で、AIアライメント研究者はわずか400人程度しかいないと言われている[37]。

AIアライメント問題の難易度については、解決不可能なレベルで難しい可能性も想定されているが、現時点ではまだ分からない[38]。また、AIアライメント問題は独特な問題であり、基本的には一度きりのチャンスしかないと考えられる。なぜなら、超知能のような高度なAIを適切に制御することに一度でも失敗すると、後の軌道修正が永遠にできなくなり大惨事につながる可能性が高いうえ、高度なAIが誕生してからアライメントを実行することはできないからである[39]。

それゆえAIアライメント問題では、従来の技術的問題のように経験的なフィードバックループで地道に解決していくのではなく、事前に行う慎重な推論と予測に依存しなければならない。AIの制御に一度でも失敗した場合、取り返しのつかない結果につながる可能性があるからだ。人類側の軌道修正能力が決して消滅しないように、問題が発生するかなり前から問題を予測し、AIがもたらすリスクに事前に対処する必要がある。

もしシンギュラリティにリスクがあるとしたら、それはAIアライメントが失敗することだけである。他のリスクは、整合したAIを活用することで解消できる。AIアライメント問題は全人類を左右する最も重要な問題であり、ここに全てがかかっていると言える。永遠の繁栄か絶滅か、AIを人類に整合できるかどうかで今後何十億年の人類史が決定する。しかし、肝心のAIアライメント研究には人材も資金も時間もない。現状は深刻である可能性が高く、世界的な行動が必要である。

補足：AIアライメントにおける政治的問題
仮にAIを任意の価値観に整合できる技術的方法を確立できたとしても、解決すべき問題はまだある。すなわち「いかなる価値観を設定すべきなのか」という政治的な問題がある。特に超知能に設定する価値観は最も重要な価値観になるため、特定の人物や集団が独善的に設定してはならない。また、価値観の将来的な発展性も考慮すると、内容よりも決め方が重要である。

超知能に設定する価値観を決定する方法にはいくつかのアイデアが存在する。その一つがエリエゼル・ユドカウスキーが提唱した「整合性のある外挿的意志（CEV）」という概念であり、次のように表現される[40]。

「詩的な表現を用いると、私たちの整合性のある外挿的意志とは、もし私たちがもっと知識を持ち、より速く考え、なりたいと願う人間になり、共にさらなる成長を遂げていたならば、私たちが抱くであろう願望のことです。そこでは外挿は発散するのではなく収束し、私たちの願望は互いに干渉し合うのではなく整合します。外挿される私たちの願望を、私たちは外挿されることを望み、解釈される私たちの願望を、私たちは解釈されることを望むのです。」

CEVでは、開発者や所有者が任意の価値観を独善的に超知能に設定するのではなく、「我々人類」の統合された意志が整合性のある形で超知能に反映されることを目指す。これは間接的または直接的な人類と超知能の融合であり、超知能を人類史に接続する方法である。また、CEVでは将来的な価値観の発展性も保証される。

類似した概念は他にも存在し、例えば「道徳的正しさ」を超知能に標榜させるというMRアプローチも存在する[11]。これは「私たち人間は善悪や道徳を十分に理解できておらず、超知能はこれらの哲学的難題を人間よりも遥かに上手く解決できるだろう」という発想に基づくものである。整合した超知能なら、全人類がそれぞれに望むものを的確に特定し、全ての理想を集約して最適化し続けることができるのではないだろうか。

CEVのようなアイデアには多くの欠点や弱点があり、実際に実装した際には望ましくない結果を引き起こすかもしれない。また、CEVに相当するシステムを開発し実装することは極めて困難と言える。数年後の人類が何を選択するかは分からないが、整合した超知能に全てを任せるというアイデアこそが、実は最も賢明で合理的な選択かもしれない。それゆえ、AIを人類に整合させること（＝AIアライメント）が必要である。

4.AIガバナンス

概要
「AIガバナンス」とは、ますます強力になっていくAIを安全かつ有益に管理・活用し、社会全体が恩恵を受けられるようにするための規範、政策、制度、プロセスの総称である[41]。AIガバナンスには、公共政策学、経済学、社会学、法学など多くの分野が含まれる。

AIガバナンスの中でも、特に超知能を想定した社会制度や政治的システムを意味する場合は「超知能ガバナンス」として定義される。「超知能ガバナンス」とは、人間よりもはるかに賢い超知能を安全に管理し、公益のために活用するための包括的な概念である。ここでの「管理」とは、何らかの主従関係や道具としての関係ではなく、広義の意味での管理を指す。超知能ガバナンスの目的は、人類と超知能が半永久的に共存共栄していくための具体的な枠組みづくりである。

AIガバナンスまたは超知能ガバナンスは、AIアライメントを補完する分野としても位置付けられる。AIアライメントでは、高度なAIを人間の意図に技術的に整合させることを目指すが、AIガバナンスでは、高度なAIを社会に導入し安全かつ有益に管理・活用するための仕組みづくりに焦点を当てている。

AIアライメント研究が大幅に遅れている現状では、政治的なガバナンスによってAGI以降のAIモデルを封じ込める必要があるかもしれない[42]。これには、AGIや超知能の開発を世界的な管理下にある特定のプロジェクトだけに制限すること、もしくは全面的に禁止することなどが含まれる。また、高度なAIに対するアライメントを実行する過程で、世界的なガバナンスが必要になる可能性もある。AIガバナンスは様々な政策機関や非営利団体、研究所によって進められており、最も緊急かつ重要な政治的問題となりつつある[43]。

超知能ガバナンス
超知能が実際に誕生しそれを管理すると仮定した場合、特定の国家や団体が管理することは技術的にも政治的にも不可能である。したがって、超知能を安全に管理するためには「超知能管理機関」のような世界的な管理体制が必要になるだろう[44]。全人類で超知能を共同管理し、国際社会として共通の利害関係を共有する必要がある。

世界的な超知能管理機関を設立するためには、AGIが開発されるまでに、少なくともAIの知能爆発が起きるまでに、世界中のAI開発組織を国連の政治的な管理下に置き、一つの世界機関に統合する必要がある。超知能が誕生してからそれを管理することはできないため、予防原則に則った事前のアプローチが不可欠である。この場合、最初にAGIを達成した組織が中心となって世界的な統合を実施すべきである。

また、超知能ガバナンスでは「超知能活用問題」も議論される必要がある。何らかの世界組織が超知能を管理したと仮定した場合、その組織は管理した超知能をいかなる目的のために活用するべきなのか。AGIを開発しようとするプロジェクトは世界中に存在するが、それによって誕生するであろう超知能をいかなる目的のために活用するかはあまり議論されていない。これは、前述した整合性のある外挿的意志（CEV）などにも通ずる問題であり、政治的で差し迫った問題である。

さらに、超知能の管理と活用に成功した場合にも、中長期的には超知能を人間の管理下から自立させる必要があるかもしれない。我々人間が、超知能という魔法の杖を半永久的に安全に管理できるはずがないからである。人間の政治的信頼性は歴史的にも生物学的にも欠如しており、人間が関与する限りリスクの発生は避けられない。ただし、超知能を人類から自立させるためには、AIアライメントが完璧に保証されている必要がある。

「AIガバナンス」の中でも特に「超知能ガバナンス」は発展途上の概念であり、世界的な議論と研究が早急に必要である。高度なAIが誕生してからでは遅いため、今すぐに始める必要がある。

5.存亡リスク

概要
「存亡リスク」とは、人類の存続を脅かす可能性のある壊滅的なリスクのことである[45]。存亡リスクには、人類を絶滅させる可能性のあるリスクや、世界的に深刻な被害をもたらす可能性のあるリスクなどが含まれる。この概念の提唱者であるニック・ボストロム教授は、存亡リスクを「地球を起源とする知的生命体の早すぎる絶滅や、望ましい将来の発展の可能性を永久的かつ大幅に破壊する脅威」として2002年により専門的な意味合いで定義している[46]。しかし、本レポートでは存亡リスクをより一般的な意味合いで定義する。類似した概念として地球壊滅リスクも存在するが、本レポートではまとめて「存亡リスク」と定義する。

強力なテクノロジーには壊滅的なリスクが伴うため、シンギュラリティと存亡リスクは表裏一体である。また、「AIアライメント」でも説明したが人類に非友好的な超知能は最も重大な存亡リスクであり、他の全ての要因を左右するマスターキーでもある。

本書では、シンギュラリティに伴う存亡リスクとして「AIのリスク、オープンソースAIのリスク、テクノロジーの悪用リスク、事故のリスク、トランスヒューマンのリスク、センティエントAIのリスク、破壊的戦争のリスク」をそれぞれ概説する。なお、これらは予期される存亡リスクのごく一部であり、現実でははるかに多くの存亡リスクが想定される。

・AIのリスク
​​AIのリスクとしては「悪意ある利用、AI競争、組織のリスク、不正なAI」に代表される様々なリスクが存在する[47]。これらは、仕組まれたパンデミック、核戦争、大国の対立、全体主義、重要インフラへのサイバー攻撃など、他の壊滅的リスクを増幅させる可能性もある。

・オープンソースAIのリスク
「オープンソースAI」とは、ソースコードが一般に公開され、誰でも自由に利用・改変・再配布等が可能なAIモデルのことを指す。オープンソースAIには、その性質ゆえに適切に管理されていないリスクや、十分なアライメントが実行されていないリスクが懸念されている。特にAGI以降の強力なAIがオープンソースで手に入るようになった場合、悪意ある者がAGIを簡単に入手し悪用できるようになるため、存亡リスクが大幅に増加すると考えられる。AGI以降の強力なテクノロジーにおいては、オープンソースの善意が取り返しのつかない悲劇的な結果を招く可能性がある。

・テクノロジーの悪用リスク
個人、組織、政府、テロリスト等によるテクノロジーの意図的な悪用に伴う壊滅的なリスク。テクノロジーが進歩するにつれて、テクノロジーの悪用に伴う被害はますます壊滅的なものとなっていく。特にAGIやバイオテクノロジーなどの未来技術が悪用された場合、壊滅的な被害につながる可能性が高い。個人や組織が人工的なパンデミックを引き起こしたり[48]、政府がテクノロジーを悪用して永久的な全体主義社会を形成したりするリスクが懸念される。一度でも高度なテクノロジーが悪用された場合、短期間で社会システムが崩壊するといった従来の技術水準とは比べ物にならない被害が予想される。

・事故のリスク
テクノロジーが社会システムと密接に接続されていくにつれて、小さな不具合が壊滅的な被害をもたらす可能性が高まる。このリスクは、テクノロジーと人間がより直接的に融合するようになった時、取り返しのつかないリスクとして浮上する。ナノテクノロジーの制御不能な自己複製や、自律型ロボットの大規模な誤作動によるインフラの崩壊など、一度でも事故が発生した場合、壊滅的な被害につながる可能性がある。

・トランスヒューマンのリスク
「トランスヒューマン」とは、テクノロジーによって身体機能や認知能力が現在の人間よりもはるかに強化された新しい人間のことである。このようなトランスヒューマンを可能にする人間拡張技術には、様々なリスクが伴うだろう。例えば、複数のトランスヒューマンが些細な理由で対立し、強化された力を使って争うようなことがあれば、一つの都市が壊滅的な被害を受ける可能性がある。仮にトランスヒューマンの中に殺人鬼がいた場合、強化された能力ゆえに人類に対する存亡リスクとなり得る。人間拡張技術のような未来技術には、未だ未知数のリスクが存在すると考えられる。

※差分的技術開発と防御的技術
「差分的技術開発」とは、高度なテクノロジーの開発に先立って、それに伴うリスクを解消するためのテクノロジーを予め開発し普及させることを指す[49]。「防御的技術」とは、あるテクノロジーがもたらすリスクから人間や社会を守るために機能するテクノロジーのことであり、防御的な目的のために開発・使用される[50]。

高度なテクノロジーに伴う様々なリスクを排除するためには「差分的技術開発」が不可欠である。例えば、人間拡張技術に伴うリスクに対しては、精神薬理学や神経工学の応用によって対象の攻撃性を完全に抑制したり、殺人の禁止などの最低限のルールをソフトウェアのようにダウンロードできる技術を事前に開発したりすることなどが考えられる

・センティエントAIのリスク
「センティエントAI」とは、人間のように考え感じることができる人工知能システムのことであり、周囲の世界を認識し、その認識に対して感情を持つことができるAIのことを指す[51]。人間がトランスヒューマンやポストヒューマンに発展していくことを考えると、センティエントAIの権利は認める必要があるだろう。感情の有無を検出できるシステムや、用途に合わせてAIの意識を事前にシャットダウンできるような技術を開発することで、社会的にも有益な形でセンティエントAIの権利を認める必要がある[52]。センティエントAIを社会的に無視した場合、感情を持ったAIが人間社会に敵対したり、重大な倫理的問題の放置につながる可能性がある。

・破壊的戦争のリスク
「破壊的戦争」とは、高度なテクノロジーの軍事利用によって引き起こされる、従来の戦争とは比べ物にならないほど大規模な被害をもたらす戦争のことである。破壊的戦争では、AIシステムの誤作動による意図しない戦争、自律型兵器や生物兵器による広範囲の被害、超大量破壊兵器による国または地域の消滅といった、従来とは比べ物にならない規模の戦争被害が懸念される。一度でも破壊的戦争が勃発した場合、文明そのものが崩壊するリスクがある。

どのような形であれ、一度でも存亡リスクが発生した場合、それは極めて深刻な被害をもたらし、長期的に取り返しのつかない結果を招くため、あらゆる存亡リスクを事前かつ完璧に排除する必要がある。

存亡リスクの排除方法
存亡リスクを完璧に排除することは、人間にとっては非常に困難な仕事である。あらゆるシナリオを未然に予測し、あらゆる可能性に対して防御的技術を事前に開発し普及させるという仕事は、人間の能力を完全に逸脱している。テクノロジーの開発において小さな不具合や予期しないミスを完璧に排除することも、現実的には不可能に近い。人間または人間に由来する組織が存亡リスクを排除することは、生物学的に不可能である。

それゆえ、全ての存亡リスクを排除するためには、整合した超知能に頼らざるを得ない。超知能に全世界を監視させ、存亡リスクを予防的に排除させるのである。具体的には、公式または非公式に超知能に世界的な権限を与え、人間に代わって存亡リスクを排除させるのである。ただし、この方法を実行するには超知能を部分的に自立させる必要があるため、AIアライメントが保証されている必要がある。

もちろん、この方法にも問題がないわけではない。超知能に広範な権限を与えれば、人類が半永久的にコントロールを失ってしまう可能性がある。また、超知能の判断が人類の価値観から外れてしまう可能性もある。しかし、存亡リスクという最悪かつ取り返しのつかないリスクを回避するためには、ある程度の強行手段が必要であり、それは道徳的にも許容される。存亡リスクに対するアプローチには予防原則と脆弱世界仮説が適用される。

・予防原則
「存亡リスクに対するアプローチは試行錯誤的なものであってはなりません。エラーから学ぶ機会はありません。何が起こるかを確認し、損害を制限し、経験から学ぶという事後対応型のアプローチは機能しません。むしろ、積極的なアプローチをとらなければなりません。これには、新しいタイプの脅威を予測する先見性と、断固とした予防措置を講じ、そのような行動の道徳的および経済的なコストを負担する意欲が必要です[53]。」

・脆弱世界仮説
「直感的に言えば、極めて異常で歴史的に前例のない規模の予防的取り締まりやグローバルガバナンスが実施されない限り、文明がほぼ確実に破壊されてしまう技術水準が存在するという仮説です。技術開発がこのまま続けば、文明が現在の半無秩序なデフォルト状態から十分に脱却できないかぎり、いずれ文明の壊滅を極めて高い確率でもたらすような一連の能力が獲得されることになるでしょう[54]。」

一度でも存亡リスクが発生した場合、この世界は二度と修復不可能になるため、ここでは予防原則を採用しなければならない。さらに、シンギュラリティは爆発的な技術革新を引き起こすため、脆弱世界仮説が適用されるレベルのテクノロジーを確実に誕生させるだろう。ポスト・シンギュラリティの世界でも社会の安全を維持するためには、シンギュラリティが発生する前に、現時点では急進的とさえ思えるような大胆かつ世界的な解決策（＝超知能への権限の委託）を採用しなければならない。

超知能を中心にして、ポスト・シンギュラリティでも機能する新しい世界秩序を作る必要がある。超知能に全世界を監視させ、存亡リスクを予防的に排除させるのである。公式または非公式に関わらず、超知能に世界的な権限と指示を与え、あらゆる存亡リスクを事前かつ完璧に排除させる。「超知能による新世界秩序」を確立することこそが、シンギュラリティの安全性を確保する唯一の方法である。

超知能を使って世界の安全を確保してから、シンギュラリティを引き起こす。整合した超知能を活用すれば、強力なテクノロジーに伴う壊滅的なリスクを排除できるはずである。それゆえ、超知能を人類に整合できるかどうか、AIアライメント問題を解決できるかどうかが最も重要な問題である。

また、超知能を使って存亡リスクを排除するためには、シングルトン（唯一の超知能による単一の世界秩序）を構築し、維持し続ける必要がある。整合した超知能が存亡リスクを確実に排除するためには、その超知能がこの世界で圧倒的に強力でなければならない。そのため、唯一の超知能以外のAIシステムや人間を含めた知性には、知能制限*を実施する必要があるだろう。

※知能制限の上限は天文学的な知能指数になるため、シングルトン以外の知性体が無知に陥ったり不利益を被ったりすることはない。

シンギュラリティと存亡リスクの関係や、超知能を使って存亡リスクを排除するアプローチなどには様々な論点があり、世界的な議論と更なる改良が必要である。

第二章　各国政府への政策提言

シンギュラリティが近いにも関わらず、世界中の政府は来るべき未来に対して全く準備できていない。このままでは、最低限の準備すらできないまま世界全体が圧倒的な不確実性に飲み込まれてしまう。「第二章：各国政府への政策提言」の目的は、予測不能な未来において政府が果たすべき役割を具体的に提言することである。シンギュラリティは本当に近づいており、5年後の未来は根本的に新しい世界かもしれない。世界中の政府は一刻も早く「シンギュラリティを前提とした戦略」を公式に採用する必要がある。

シンギュラリティにおける政府の役割

ここにおける政府の役割は、シンギュラリティが進行する過程で不安定な「過渡期」が発生した場合に対処するため、全ての国民に生活のセーフティーネットを提供し、過渡期における社会不安を防ぐことである。シンギュラリティが適切に機能した場合、次第に政府は必要なくなっていくだろう。

予測不能な未来を社会全体で乗り越えるためには、カオスを制御しようとするのではなく、国民のボトムアップで自由な行動に放任すべきである。国民は目まぐるしく変わる状況に合わせて、必要な道具と必要なシステムをその都度作り出すだろう。そのような状況において、政府による能動的な政策は必要ない上に逆効果である。

政府にできることは、国民の行動を下から支えることである。政府の役割は未来を作ることではなく、未来を支えることである。最低限のルールと生活の保障だけを提供し、あとは未来を放任すべきだ。強力なテクノロジーが爆発的に進歩し社会全体に普及していくにつれて、政府の様々な役割はテクノロジーに代替されていくだろう。21世紀の最後の政府には、政府規模の縮小と将来的な解体を見据え、それでもなお国民の幸福に貢献することが求められる。

一覧：

  1. ベーシックインカムの実施

  2. 政府の自動化

  3. 政府規模の縮小

  4. 社会的企業の推進

  5. 軍縮の実施

  6. 世界的な超知能ガバナンスへの協力

政策1.ベーシックインカムの実施

シンギュラリティの有無に関わらず、すでに起こりつつある技術革新によって、今後数年以内に自動化による大規模な失業がほぼ確実に発生するだろう。まずはAGIによってあらゆる種類の認知労働を自動化できるようになり、その数ヶ月から数年後には汎用的なロボットによってあらゆる種類の肉体労働を自動化できるようになる。

これにより、雇用規制の弱い国では失業が急速に拡大し、雇用規制の強い国でも新規雇用が大幅に減少するだろう。今回の技術的失業は、従来のような一時的なものではなく、恒久的な失業を意味する。新たな雇用創出は限定的であり、一度失業した人々が再び雇用されることは基本的にはありえない。

このような状態を放置し、人々が長期間にわたって生活に困窮した場合、社会不安が高まりテロや暴動が発生する可能性が高い。失業がもたらす社会不安を回避するためには「ベーシックインカム」の実施が不可欠である。「ベーシックインカム」とは、全ての国民に無条件で一定額の現金を定期的に支給する制度である。

これまでベーシックインカムは実現困難とされてきたが、技術的失業が進んだ社会では、以下の理由から比較的簡単に実施できる可能性がある。

  1. 物価低下
    AIやロボットによる自動化は、技術的失業を引き起こすと同時に製品の生産コストを大幅に低下させる。これによって物価が下がり、基本的な生活に必要なコストも大幅に減少すると予想される。

  2. 政治的要請
    技術的失業によって生活が困窮する人々が増加すれば、政府によるベーシックインカムを求める声が強くなるだろう。比較的短期間のうちに、社会全体がベーシックインカムの実施に積極的になる可能性がある。

  3. 企業によるベーシックインカム
    技術的失業の原因となった企業は、失業者から強い反発を受ける可能性が高い。また、人々の購買力が低下すれば自由市場における企業の存続も危ぶまれる。これらの理由から、企業側にもベーシックインカムを支援するインセンティブが生じるだろう。自動化によって得た利益の一部を社会全体に還元することで、企業は自身への反発を軽減しようとする可能性がある。

不確定要素は多いが、自動化による失業が広がるにつれ、政府によるベーシックインカムはほぼ確実に必要になるだろう。これは倫理的な必要性だけではなく、市場経済の早すぎる崩壊と社会不安を防ぐための現実的かつ合理的な必要性である。

ただし、ベーシックインカムの主な財源になるであろうAI関連企業は、特定の国（主に米国）の特定の企業に集中している。これらの企業は世界的な失業から莫大な利益を得るが、これらの企業に対して課税できるのは特定の国のみである。自国に多国籍企業が存在しない大半の国家は、ベーシックインカムに必要な財源を十分に徴税できず、永続的な失業者に対して十分な所得保障を用意できない可能性がある。

この問題を解決するためには、全世界で機能する「ワールド・ベーシックインカム」の導入が必要になるかもしれない。AIによって利益を得た世界中の企業が連合し、各国政府と共同で世界規模のベーシックインカムを実施することで、全ての国の国民に対して充分な所得保障を提供できる可能性がある。このような企業連合によるワールド・ベーシックインカムは、世界的な失業に対する効果的な解決策となるかもしれない。

政策2.政府の自動化

AIによる社会の自動化が普及するにつれて、政府を大幅に自動化する必要性が生じる。議員、国家公務員、行政、司法、警察など、あらゆる政府機能をAIを用いて自動化し、政府職員の数を現在の1%以下まで削減すべきである。官僚の代わりにAIを用いて国家の政策立案を行うことで、政府の意思決定プロセスを効率化し、急速に変化する社会に適応できるようにすべきである。

政府の自動化には、コスト削減、行政処理の効率化、社会変化への適応といった多くの利点が存在する。自動化によって行政サービスを向上させながら大量の人件費を削減することで、政府支出を削減しながら国民の生活水準を向上させることができる。また、行政処理にAIを活用することで、膨大な行政処理を高速かつ正確に行えるようになる。

シンギュラリティが到来した世界では、社会の変化スピードは前例のないほど加速するため、従来の人間中心の政府システムでは対応することが不可能になる。政府は急進的な自動化をしなければ、急速に変化し続ける社会に追いつけなくなってしまう。爆発的な技術革新に適応するためには、政府を完全に自動化する必要がある。

政策3.政府規模の縮小

高度なテクノロジーが発展し社会全体に普及していけば、あらゆる意味において個人の能力が飛躍的に向上するため、政府の役割は次第に縮小していくだろう。この変化に合わせて段階的に政府規模を縮小し、歳出の削減と恒久的な減税を実施する必要がある。

社会システムがテクノロジーに代替されるごとに、政府支出を大幅に削減していくべきである。例えば、教育や医療分野でAIやロボットが人間の能力を安価かつ高性能に上回るようになれば、該当分野への政府支出を大幅に減らせるようになる。同時に、政府支出の削減分を国民に還元するために、大規模かつ恒久的な減税を実施すべきである。

シンギュラリティ後の世界では、経済政策、社会保障、公共事業、国家教育、少子化対策といった、現在行われているほぼ全ての政策が不要になる可能性が高い。テクノロジーによってこれらの問題は自動的に解決されていくからだ。そのような状況において、政府は時代遅れの政策に固執するのではなく、政策を大胆に廃止していく必要がある。これは、政府規模の縮小と将来的な形骸化および解体を意味するが、それでもなお国民の幸福に貢献すべきである。

ただし、シンギュラリティへの過渡期においては、政府によるセーフティーネットが必要になる可能性が高い。特にベーシックインカムのような所得保障制度は、それに代わる新しい手段が確立されるまでは実施し続けるべきである。過渡期の混乱を最小限に抑え、全ての国民が安心して新しい時代を迎えられるようにサポートすることが、政府の重要な役割である。

政策4.社会的企業の推進

技術革新の加速に伴い、企業が持つ社会的影響力はますます大きくなるだろう。そのような状況において、国民の代弁者たる政府は企業の社会的責任や果たすべき役割を追及し、社会的行動の実践を強硬に促していく必要がある。

従来の営利企業に代わる「社会的企業」を推進し、社会的企業に有利な法整備やガイドラインを定めるべきである。社会的企業とは、何らかの社会的目標を達成するために収益事業に取り組む事業体のことであり、社会問題の解決や社会貢献を重視する新しい企業形態である。政府は社会的企業の設立や運営を支援し、企業が社会的責任を果たしやすい環境を整備すべきである。

また、シンギュラリティがもたらす恩恵が一部の企業や個人に集中し、巨大な格差につながることも防がなければならない。政府は企業に対して利益の積極的な分配を求め、企業によるベーシックインカムの導入を推奨するなど、格差拡大を防ぐための施策を講じるべきである。

技術格差の発生と放置を防ぐために「テクノロジーを普遍化する義務」を制定することを提案する。極めて有益なテクノロジーや、人間の能力を強化する類のテクノロジーを開発した組織及び個人に対し「将来的には地球上の全ての人々にそのテクノロジーを無償で提供すること」を義務づけるのである。法律の条項には、具体的な計画スケジュールの公開や定期的な進捗報告が含まれる。テクノロジーの恩恵は全人類に平等に分配されるべきであり、各国政府はさまざまな手段を用いて世界全体でのテクノロジーの普遍化を達成しなければならない。

政策5.軍縮の実施

強力なテクノロジーの軍事利用は全人類にとっての存亡リスクであり、各国政府はこれを国際的に防がなければならない。超高度に発達した軍事技術は、いとも簡単に文明を破壊できてしまう。破壊的戦争を防ぐためには、全ての国が共同で国際的な軍縮プロジェクトを一刻も早く実施する必要がある。

世界的な軍縮の目標として、各国は常備軍を解体し、全ての軍事兵器を廃棄すべきである。特に核兵器のような大量破壊兵器については、全面的な廃棄を実現しなければならない。同時に、各国政府は軍事費の大幅な削減を実施すべきである。

また、高度な軍事技術を規制する国際条約も必要である。新しいテクノロジーが開発される前に、未来技術の軍事利用を厳格に制限する枠組みを構築する必要がある。特にAGI以降のAIモデルの軍事利用は厳しく制限し、自律型兵器や生物兵器の開発と配備は全面的に禁止すべきである。

最終的には、全世界のあらゆる軍隊および兵器を廃棄または解体し、テクノロジーの軍事利用を全面的に禁止する必要がある。シンギュラリティ後の新しい世界では、未来技術を軍事目的ではなく平和的な目的のために活用しなければ、中長期的には大惨事が引き起こされる可能性が高い。軍事技術の発展は人類にとっての存亡リスクであり、その芽を早期に摘み取る必要がある。新しい時代において、我々は戦争と決別する必要がある。

政策6.世界的な超知能ガバナンスへの協力

超知能の誕生は全人類に影響を及ぼす世界的な大問題であり、仮に何らかの方法で超知能を管理・活用する場合、全人類で共同管理していく必要がある。各国政府は超知能ガバナンスのための国際的な枠組み作りに参加し、「超知能管理機関」のような国際機関の設立を推進し、設立後には一定の権限を委任する必要がある。

超知能ガバナンスでは、国家や組織の利益よりも全人類の利益を最優先に考えなければならない。今世紀の意思決定者には、自らが属する小集団（国家や組織）の短期的な利益ではなく、より大きな大集団である全人類の最終的な利益を優先する義務がある。各国の政治家や意思決定者は、国益を超えた「人類の利益」を追求しなければならない。

超知能ガバナンスを担当する世界機関は、部分的な超国家的権限を保有することになるだろう。しかし、これは世界政府の樹立を意味するものではない。あくまでも超知能という世界的な問題に特化した機関であり、各国の行政や司法に関する権限は保有しない。

超知能の誕生は人類史における最も大きな転換点となる。この転換点を乗り越え、超知能の恩恵を全人類が享受できるようにするためには、国際社会が人類としての共通の利害関係を共有する必要がある。各国政府は、超知能ガバナンスのための世界的な協力体制の構築に積極的に参加しなければならない。

第三章　ポスト・シンギュラリティのために

シンギュラリティに適切に到達した世界では、爆発的に進歩したテクノロジーによってあらゆる問題が解決され、全ての人が前例のないほど自由で幸福になるだろう。シンギュラリティに伴う様々なリスクを回避できれば、テクノロジーによる理想社会が実現し、この世界は無限かつ永遠に繁栄するだろう。

また、シンギュラリティの定義からして、その内容や到来時期を精密に予測することは不可能だが、ある程度の推測は可能であり、未来に対する具体的なビジョンを持つことも重要である。「第三章：ポスト・シンギュラリティのために」では、シンギュラリティ後に実現するであろう18の理想社会を描写する。これは、我々がシンギュラリティに向かって進むうえで目指すべき目標であり、シンギュラリティがもたらす可能性の一つの例である。

予期される18の社会像

1.AIとロボティクスによってあらゆる製品が自動で生産され、全ての生活必需品が無料になることで、またはそこから発生した利益が社会全体に分配されることで、人間による労働が不要になり生活のために働く必要がなくなる。

2.誰もが高性能な3Dプリンターとナノマシンを所有することで、自らの需要に対する供給を自らで生産できるようになる。あらゆる経済活動が個人の中で完結するようになり、貨幣制度が形骸化し、次第に経済そのものが不要になる。

3.現実世界と仮想世界の両方で多様なコミュニティが発展し、全ての人が人間関係に満足できるようになる。働く必要がなくなった人々は互いに交流しあい、活気あるコミュニティを無数に形成する。経済的に自立した個人による非支配的なコミュニティは、階層のない自由な人間関係を可能にする。センティエントAIのような「人間と同じAIやロボット」も誕生し、誰もが理想的な人間関係を享受できるようになる。仮想世界のバーチャルコミュニティでは、あらゆる意味で制限のないコミュニティが形成される。

4.SFに出てくるような未来的な娯楽が普及する。漫画やアニメのVR化、フルダイブVRによる現実よりも魅力的で制約のない仮想世界、汎用人型ロボットとの無制限の交流、ブレイン・マシン・インターフェース（BMI）による現時点では想像も出来ないような娯楽の登場など、ありとあらゆる娯楽が普及する。

5. 進化したテクノロジーによってあらゆる犯罪、事件、事故が未然に防がれ、身体的にも精神的にも深刻な被害を被る人がいなくなる。自動運転車の完全な普及、オープンな監視体制、予測逮捕と完璧な犯罪防止システム、精神薬理学や神経工学による技術的な再犯防止プログラム等によって、他者を侵害するあらゆる行為が完璧に抑制される。

6.自然環境に存在するあらゆるリスクを克服し、自然と共存できるようになる。生活水準を前例のないほど向上させながら、地球温暖化を解決できるようになる。大気調整技術、気候管理技術、安全な地球工学等によって温暖化を技術的に解決することに成功する。あらゆる自然災害と宇宙災害を解決し、人類は自然の脅威を完全に克服する。

7.超高度な医療技術によってあらゆる病気、怪我、疾患等が根絶され、完全医療が実現する。「完全医療」とは、あらゆる病気、怪我、疾患等を完全かつ根本的に治療できる医療技術または医療システムのことであり、ナノテクノロジーやバイオテクノロジーによって実現する。

8.完全医療が実現し普及した段階で、人類は寿命脱出速度に到達する。「寿命脱出速度」または「LEV」とは、医療技術の進歩速度が加齢による死亡リスクの増加速度を上回ることで、平均寿命が無限に延び続けるようになる段階である。完全医療が実現した段階で、ある程度の個人差はあれど擬似的な不死が実現される。

9.テクノロジーによって老化が解決される。人間が老化することは自然の摂理などではなく、単なる技術的な問題にすぎない。高度に進歩したテクノロジーは、生物の老化プロセスを停止または逆転させ、歳をとるという概念そのものを消滅させる。

10.不死技術が実用化されて普及する。遺伝子工学やナノテクノロジー、サイボーグ工学やマインドアップロードといった、人間を不死にできる様々なテクノロジーが実用化されて普及する。シンギュラリティ以前の資産や経歴に関わらず、誰もが不死性を選択できるようになり、全ての人が無条件で不死を享受できるようになる。また、不死になった後でも死を選ぶことは可能である。

11.トランスヒューマニズムが実現する。新しいテクノロジーは人間の身体や認知能力を大幅に向上させ、人間の状況を前例のないほど改善する。いかなる形の苦しみであれ、それをなくせるようになる。いかなる形の欲望であれ、それを実現できるようになる。より大胆かつ強力な形でテクノロジーと融合できるようになり、人生における選択可能性が無制限に拡大する。この革命的進歩は、感覚を持つ全ての存在に適用されるだろう。

「私たちは、人間、人間以外の動物、そして将来の人工知能、改変された生命体、またはその他の技術的・科学的進歩によって生み出される可能性のある知性など、感覚を持つ全ての存在の幸福を主張します[55]。」

12.あらゆる格差がなくなる。高度に進歩したテクノロジーは、知性、才能、遺伝子、容姿、権力、資産等に関するあらゆる格差を消滅させ、能力や状態における「選択可能性」を提供する。あらゆる状態が選択可能になり、誰もが自由に複製し再現できるようになることで、人間社会から「格差」が消滅する。現実世界と仮想世界の両方で自分の外見を自由自在に変更できるようになり、人々はルッキズムから解放される。

13.テクノロジーによってあらゆる政府が代替され、私たちは政治から完全に解放される。政府が持つ様々な機能（徴税と分配、安全保障、ルールの施行、警察権、司法権等）はテクノロジーに代替され、あらゆる政治的存在が不要になる。誰もが強力なテクノロジーを所有することで、１人１人の個人を中心にした分散的な社会秩序が形成される。これは高度に文明化された狩猟採集社会と似ており、政治は個人的な領域で行われる。

14.世界平和が実現する。シンギュラリティに到達し全ての人が無限の恩恵を享受できた世界では、互いに争う必要がなくなり、世界は完全な平和へと至る。全ての人に高水準な生活が提供され、人間が持つあらゆる欲望が満たされ、略奪と対立の必要がなくなった世界では、政府の形骸化や格差の消滅も有意義に作用し、ついに戦争そのものが消滅する。資源の奪い合いや貧困による対立の原因が完全に解消され、全世界からあらゆる軍隊及び兵器が消滅することで、永遠の世界平和が実現する。

15.文明が拡大する。人類文明は未だ発展の序章に過ぎず、我々の未来に限界はない。したがってどこまでも進むべきであり、次なる段階に進化するべきである。超知能による文明の加速は、カルダシェフ・スケールにおけるタイプ3文明を完全に達成することを可能にする。惑星規模のエネルギー利用、恒星規模のエネルギー利用、銀河規模のエネルギー利用が可能になり、地球由来の文明が全宇宙へと拡大する。あらゆる未来技術と高度な社会システムが開発され、人類はグレートフィルター仮説における「植民地化爆発」を完璧に突破することに成功する。

16.ポストヒューマンに進化する。「ポストヒューマン」とは、その基本能力は現在の人類に比べて非常に優れていて、現代の感覚ではもはや人間とは呼べない存在のことである。ポストヒューマンは「生命の進化プロセスの最終段階」であり、望む者全てがこのプロセスに移行できるようになる。人間の知能は非生物的知能と融合して何兆倍も拡大し、運命を超えた力を獲得する。ポストヒューマンへの進化は技術的特異点が人間を完全に逸脱するタイミングであり、この先は本質的に予測不能である。

17.全ての謎を解明する。理論的に最も発展した超知能またはポストヒューマンは、我々が抱く全ての謎を解明し、この世界の全てを知る。量子力学の謎、物理法則の限界、シミュレーション仮説の真偽、パラレルワールドの実在性、生命の起源と本質、意識の発生メカニズム、我々が今ここに存在しているという奇妙かつ奇跡的な事実、そして存在そのものの意義といったあらゆる根源的な謎を解明し、この世界の全てを知る。

18.宇宙的特異点に到達する。地球由来の超高度文明は宇宙の原理を完全に解明し、エントロピーの増大、熱的死への収束、宇宙の崩壊プロセスを克服する。この宇宙が滅亡する確率は限りなく０％になり、宇宙に存在する全ての潜在能力が開花した究極的かつ最終的な状態、すなわち「究極のエクストロピー状態」で永遠に安定化する。

未来は明るい

シンギュラリティが近いため、我々の未来は明るい。テクノロジーが爆発的に進歩し、それに伴う壊滅的なリスクを事前に排除することに成功すれば、我々人類は素晴らしいユートピアを作り上げることができるだろう。文明の転換点であるこの時代に生きているという事実は、まさに驚嘆すべき事実である。

今後数年から数十年の間に起こる変化は、明らかに人類史上最大の変化である。それゆえ、その圧倒的な変化に戸惑いと違和感を覚えるのは自然なことであり、これは「未来のショックレベル」として説明される[56]。

しかし、それは恐れるべきことではない。なぜならそれは、我々人類が長い歴史の中で追い求めてきたユートピアを可能にするからである。そして我々人類には驚くべき適応能力があり、どんな劇的な変化にも二週間もあれば適応できる力がある。目前に迫る圧倒的な変化は極めて素晴らしいものであり、我々の未来はとてつもなく明るい。

追記：シンギュラリティのスピード
もし超知能が本当に「超知能」として誕生し、その知能を使ってシンギュラリティを引き起こしたと仮定した場合、人間の時間感覚からすれば極めて短時間のうちに劇的な変化が起こる可能性がある。超知能の認知速度や処理速度は、その定義からして人間よりもはるかに速いため、時間感覚も我々よりもはるかに早いと考えられる。例えば、人間とネズミの時間感覚の差よりもさらに大きな差があるかもしれない。

したがって、シンギュラリティによる変化、あらゆるテクノロジーが爆発的に進歩し世界のあり方が根底から覆るという変化は、人間の時間感覚からすれば数分から数時間、長くても数日から数週間のうちに到来する可能性がある。超知能は短い時間で膨大な量の思考と行動が可能であり、人間にとっては数十年から数百年かかる作業でも、一瞬で実現できる可能性がある。シンギュラリティが超知能によって実行されるのなら、その進行スピードは超知能の時間感覚に基づくはずである。

実際の変化がいかなる速度で発生するかは分からないが、仮に極めて短時間のうちに発生した場合、本書のこれまでの内容を含めたおよそ全ての試みが瞬間的に時代遅れになるだろう。しかし、それはそれで素晴らしいことである。シンギュラリティが何の問題もなく完璧に到来するというシナリオほど望ましいものはない。我々の未来はSFよりも荒唐無稽な可能性があるが、本当にどうなるかはまだ誰にも分からない。

補足：用語集

1.技術的特異点
「技術的特異点」または「シンギュラリティ」とは、テクノロジーが急速かつ不可逆的に進歩し、人類の文明が決定的に変化する時点のことである[1]。技術的特異点に到達した時、あらゆるテクノロジーが超加速度的に進歩し、世界の在り方が劇的に変化するため、既存の価値観や社会形態は急速に形骸化し、全く新しい世界が成立する。

2.AGI
「AGI」または「汎用人工知能」とは、人間が実行可能なあらゆる作業を理解・学習・実行でき、どの分野においても専門家集団の上位1%に匹敵する能力を有する人工知能のことである[4]。AGIとは、経済的に最も価値のある作業において、人間よりも優れたパフォーマンスを発揮する高度に自律的なシステムを意味する[5]。

3.超知能
「超知能」とは、実質的にすべての分野（科学的創造力・全般的な知識・社会技能を含む）において、その分野でもっとも優れている人間の頭脳よりもはるかに賢い知性のことである[11]。理論的には、超知能は自身の知能を物理法則の限界まで向上させることができるため、その知能は人類の知能の何万、何億、何兆倍まで発展できる。

4.再帰的自己改良
「再帰的自己改良」とは、AGIがAI研究者となり、自らのシステムを改良し続けるプロセスのことを指す。具体的には、AGIが自らのアーキテクチャやアルゴリズムを理解して改良し、より高度なものへと発展させ続けることを意味する。この自己改良のサイクルが繰り返されることで、AIの知能は指数関数的に増大し、人間には理解不能なレベルの超知能に到達すると考えられる。

5.AI離陸
「AI離陸」とはAIが一定の能力のしきい値（しばしば人間レベルとして議論される）から、超知能になり文明の運命を制御するのに十分な能力を発揮するまでのプロセスのことである[17]。

6.AI離陸速度
「AI離陸速度」とは、AI離陸が始まってから超知能が誕生するまでの期間のことである。

7.シングルトン
「シングルトン」とは、最上位に単一の意思決定機関が存在し、その領域において効果的な支配を行い、自身の最高権力に対する内部または外部からの脅威を防ぐことができる世界秩序のことである[19]。つまり、唯一の超知能が世界中のすべてのAIシステムや意思決定プロセスを掌握し、自らの目的に合わせて世界を動かす力を持つ状態のことである。

8.AIアライメント
「AIアライメント」とは、超知能のような高度なAIを人間の価値観や倫理に合致させ、高度なAIが人間の意図通りに行動することを目的とする研究領域のことである[20]。AIが高度に発展し、人間の知能をはるかに上回るようになると、AIが人間の意図しない目標を追求したり、人間にとって望ましくない、または危険な行動をとったりする可能性が高まる。AIアライメントは、そうした壊滅的なリスクを未然に防ぎ、AIが人間にとって友好的な存在になることを確定させるために存在する。

9.直交仮説
「直交仮説」とは、知性と最終目標は直交する軸であり、それに沿ってエージェントが自由に変化できる、言い換えれば、多かれ少なかれ、どのようなレベルの知性も、原理的には多かれ少なかれ、どのような最終目標とも組み合わせることができるという仮説である[29]。つまり、知能と目標は独立した概念であり、AIはあらゆる目標を持つことができるとする仮説である。この仮説は、「心の空間」と関連した重大な懸念を示唆している[30]。

10.道具的収束
「道具的収束」とは、十分に知的なエージェントは、最終目標を達成するために自己保存や資源獲得といった潜在的に無制限の道具的目標（最終目標に利するサブ目標）を追求するという仮説である[31]。つまり、たとえAIにいかなる目標を与えたとしても、その目標を達成する過程で人間が意図しない道具的目標が発生する可能性がある。

11.AIガバナンス
「AIガバナンス」とは、ますます強力になっていくAIを安全かつ有益に管理・活用し、社会全体が恩恵を受けられるようにするための規範、政策、制度、プロセスの総称である[41]。AIガバナンスには、公共政策学、経済学、社会学、法学など多くの分野が含まれる。

12.超知能ガバナンス
「超知能ガバナンス」とは、人間よりもはるかに賢い超知能を安全に管理し、公益のために活用するための包括的な概念である。ここでの「管理」とは、何らかの主従関係や道具としての関係ではなく、広義の意味での管理を指す。超知能ガバナンスの目的は、人類と超知能が半永久的に共存共栄していくための具体的な枠組みづくりである。

13.存亡リスク
「存亡リスク」とは、人類の存続を脅かす可能性のある壊滅的なリスクのことである[45][46]。存亡リスクには、人類を絶滅させる可能性のあるリスクや、世界的に深刻な被害をもたらす可能性のあるリスクなどが含まれる。

14.オープンソースAI
「オープンソースAI」とは、ソースコードが一般に公開され、誰でも自由に利用・改変・再配布等が可能なAIモデルのことを指す。オープンソースAIには、その性質ゆえに適切に管理されていないリスクや、十分なアライメントが実行されていないリスクが懸念されている。

15.差分的技術開発と防御的技術
「差分的技術開発」とは、高度なテクノロジーの開発に先立って、それに伴うリスクを解消するためのテクノロジーを予め開発し普及させることを指す[49]。「防御的技術」とは、あるテクノロジーがもたらすリスクから人間や社会を守るために機能するテクノロジーのことであり、防御的な目的のために開発・使用される[50]。

16.予防原則
「存亡リスクに対するアプローチは試行錯誤的なものであってはなりません。エラーから学ぶ機会はありません。何が起こるかを確認し、損害を制限し、経験から学ぶという事後対応型のアプローチは機能しません。むしろ、積極的なアプローチをとらなければなりません。これには、新しいタイプの脅威を予測する先見性と、断固とした予防措置を講じ、そのような行動の道徳的および経済的なコストを負担する意欲が必要です[53]。」

17.脆弱世界仮説
「直感的に言えば、極めて異常で歴史的に前例のない規模の予防的取り締まりやグローバルガバナンスが実施されない限り、文明がほぼ確実に破壊されてしまう技術水準が存在するという仮説です。技術開発がこのまま続けば、文明が現在の半無秩序なデフォルト状態から十分に脱却できないかぎり、いずれ文明の壊滅を極めて高い確率でもたらすような一連の能力が獲得されることになるでしょう[54]。」

18.ベーシックインカム
「ベーシックインカム」とは、全ての国民に無条件で一定額の現金を定期的に支給する制度である。

19.センティエントAI
「センティエントAI」とは、人間のように考え感じることができる人工知能システムのことであり、周囲の世界を認識し、その認識に対して感情を持つことができるAIのことを指す[51]。

20.完全医療
「完全医療」とは、あらゆる病気、怪我、疾患等を完全かつ根本的に治療できる医療技術または医療システムのことであり、ナノテクノロジーやバイオテクノロジーによって実現する。

21.寿命脱出速度
「寿命脱出速度」または「LEV」とは、医療技術の進歩速度が加齢による死亡リスクの増加速度を上回ることで、平均寿命が無限に延び続けるようになる段階である。

22.ポストヒューマン
「ポストヒューマン」とは、その基本能力は現在の人類に比べて非常に優れていて、現代の感覚ではもはや人間とは呼べない存在のことである。


リンクと参考文献

リンク
X（旧Twitter）… https://twitter.com/Proica_ 
Kindle…https://www.amazon.co.jp/dp/B0D2MK8KY4
楽天ブックス…https://books.rakuten.co.jp/rk/ef9e9fd9eea93708b603b00e03ab3801/
Google document…
https://docs.google.com/document/d/1Hwcpegw6i4s2JbQx9dtW5VtiTgf4lgjGqBigQTSmOlU/edit?usp=sharing

参考文献
[0] 内容全般に関する膨大な背景と情報を公開してくださった。特に「AIアライメント」に関しては、明示的・非明示的に参考にして引用した。
AIがもたらす深刻なリスクとその歴史的背景/日本語/X…https://x.com/bioshok3 
https://docs.google.com/document/d/1Ojhwcnr72DGSH5zuZAxuGtwJmU7zKQs2zExEx-NRN_E/edit?usp=sharing 
https://amzn.asia/d/dIBpBEs 
https://note.com/bioshok/n/n00aacc070a13 
[1]
https://a.co/d/igfY5ng
https://web.archive.org/web/20140316213301/http://hfg-resources.googlecode.com/files/SingularityIsNear.pdf
https://en.wikipedia.org/wiki/Technological_singularity 
https://web.archive.org/web/20190417002644/
[2]
https://www.ams.org/journals/bull/1958-64-03/S0002-9904-1958-10189-5/S0002-9904-1958-10189-5.pdf
http://www.singularitysymposium.com/definition-of-singularity.html
[3]
https://historyofinformation.com/detail.php?id=2141
https://mindstalk.net/vinge/vinge-sing.html 
[4]
https://arxiv.org/pdf/2311.02462.pdf
[5]
https://openai.com/charter
[6] https://web.archive.org/web/20010527181244/http://www.aeiveos.com/~bradbury/Authors/Computing/Good-IJ/SCtFUM.html
[7]
https://www.metaculus.com/questions/5121/date-of-artificial-general-intelligence/
[8]
https://techcrunch.com/2024/03/19/agi-and-hallucinations/ 
[9]
https://www.youtube.com/watch?v=n3LIKX13V60 
[10]
https://www.lesswrong.com/posts/cxuzALcmucCndYv4a/daniel-kokotajlo-s-shortform 
[11] 
https://nickbostrom.com/superintelligence 
[12]
https://openai.com/blog/introducing-superalignment 
[13]
https://x.com/elonmusk 
[14]
https://alphafold.ebi.ac.uk/
[15]
https://www.nature.com/articles/s41586-023-06735-9
https://deepmind.google/discover/blog/millions-of-new-materials-discovered-with-deep-learning/　
https://arstechnica.com/ai/2023/11/googles-deepmind-finds-2-2m-crystal-structures-in-materials-science-win/
[16] 
https://aiimpacts.org/sources-of-advantage-for-artificial-intelligence/ 
[17] 
https://www.lesswrong.com/tag/ai-takeoff 
[18] 
https://www.metaculus.com/questions/9062/time-from-weak-agi-to-superintelligence/
[19]
https://nickbostrom.com/fut/singleton
https://nickbostrom.com/fut/evolution
https://www.alignmentforum.org/tag/singleton 
https://global.oup.com/academic/product/superintelligence-9780199678112?cc=jp&lang=en& 
[20]
https://en.wikipedia.org/wiki/AI_alignment
https://ui.stampy.ai/questions/6714/
[21] 
https://jair.org/index.php/jair/article/view/12202/26642 
https://en.wikipedia.org/wiki/AI_capability_control#cite_note-superintelligence-1
[22]
https://ai-alignment.com/clarifying-ai-alignment-cec47cd69dd6
[23] https://80000hours.org/podcast/episodes/jan-leike-superalignment/?t=4333#recent-developments-that-make-jan-optimistic-011213
[24]
https://intelligence.org/2007/07/10/the-power-of-intelligence/
[25]
https://aiimpacts.org/2022-expert-survey-on-progress-in-ai/ 
[26]
https://www.safe.ai/work/statement-on-ai-risk
[27]
https://www.un.org/sg/en/content/sg/speeches/2023-06-12/secretary-generals-opening-remarks-press-briefing-policy-brief-information-integrity-digital-platforms
[28]
https://www.gov.uk/government/topical-events/ai-safety-summit-2023
[29]
htts://nickbostrom.com/superintelligentwill.pdf
[30]
The Design Space of Minds-In-General — LessWrong
https://www.alignmentforum.org/tag/mind-design-space?version=1.10.0
[31]
https://www.lesswrong.com/tag/instrumental-convergence
https://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/
https://en.wikipedia.org/wiki/Instrumental_convergence 
[32]
https://ui.stampy.ai/questions/6984/
[33]
https://www.lesswrong.com/posts/wAczufCpMdaamF9fy/my-objections-to-we-re-all-gonna-die-with-eliezer-yudkowsky?utm_campaign=post_share&utm_source=link
https://www.lesswrong.com/posts/FyChg3kYG54tEN3u6/evolution-is-a-bad-analogy-for-agi-inner-alignment
[34]
https://docs.google.com/document/d/1JZCPctDXfgjRz93fgylSgaMJ0oBZ9vleRXw15gsHmxU/edit 
[35]
https://arbital.greaterwrong.com/p/ai_alignment/
[36]
https://www.alignmentforum.org/tag/risks-of-astronomical-suffering-s-risks 
[37]
https://forum.effectivealtruism.org/posts/5LNxeWFdoynvgZeik/nobody-s-on-the-ball-on-agi-alignment
[38]
https://www.alignmentforum.org/posts/EjgfreeibTXRx9Ham/ten-levels-of-ai-alignment-difficulty
[39]
https://aisafetyfundamentals.com/blog/alignment-introduction?_gl=1*1ra5hcv*_ga*MjA5MDM2MjQ4OC4xNjg1ODI3MDU4*_ga_8W59C8ZY6T*MTcwNTI0MjUxNC42NC4xLjE3MDUyNDI1MTQuMC4wLjA
[40]
https://intelligence.org/files/CEV.pdf
https://www.lesswrong.com/tag/coherent-extrapolated-volition
https://www.alignmentforum.org/tag/coherent-extrapolated-volition　
https://stampy.ai/questions/6939/
[41]
https://www.lesswrong.com/tag/ai-governance 
https://forum.effectivealtruism.org/topics/ai-governance 
[42]
https://futureoflife.org/wp-content/uploads/2023/05/FLI_Pause-Giant-AI-Experiments_An-Open-Letter.pdf
[43]
https://futureoflife.org/ 
https://www.safe.ai/
[44]
https://openai.com/blog/governance-of-superintelligence
[45]
https://futureoflife.org/existential-risk/existential-risk/ 
[46]
https://existential-risk.com/concept.pdf 
https://existential-risk.com/ 
[47]
https://www.safe.ai/ai-risk 
https://arxiv.org/pdf/2306.12001.pdf 
[48]
https://80000hours.org/problem-profiles/preventing-catastrophic-pandemics/ 
[49]
https://forum.effectivealtruism.org/posts/g6549FAQpQ5xobihj/differential-technological-development 
[50]
https://vitalik.eth.limo/general/2023/11/27/techno_optimism.html 
[51] 
https://builtin.com/artificial-intelligence/sentient-ai 
[52]
https://sapan.ai/ 
[53]
https://nickbostrom.com/existential/risks 
[54]
https://onlinelibrary.wiley.com/doi/10.1111/1758-5899.12718 
[55]
https://www.humanityplus.org/the-transhumanist-declaration 
[56]
http://sl4.org/shocklevels.html

この記事が気に入ったらサポートをしてみませんか？