未来との冷戦

今我々の世界は冷戦状態に入っているかもしれない。中露とアメリカの話ではない。 我々地球に現在存在する100億人と未来に存在するだろう気の遠くなるような膨大な数の我々子孫との間に。

我々は今高度なAIを開発することで労働の自動化、癌の克服、アルツハイマーの予防、核融合の開発、常温常圧超電導の発見等の果に不老不死、半永久的に続く豊穣な世界を享受できるかもしれない。

しかしと同時に高度なAIは人類の存亡的破局をもたらすかもしれない。 そのため理想的には世界的にガバナンスを行い、ゆっくりと開発するほうが良いだろう。

しかし現実は甘くない。各国は経済と軍事的な安全保障の面で開発を止めることはできないだろう。また、たとえ各国が開発をストップできたとしても個人や組織の思惑までもコントロールはできない。いずれ誰かがその大きな力を保有したいと願うだろう。 しかしそれにはリスクが伴う。AIアライメント問題、つまりAIを人類はコントロールできなくなるんじゃないかという懸念は2000年代にTranshumanismの挫折可能性から提起され始め、今では国連やアメリカイギリスEUまでもが本気で懸念し始める問題になっている。
(AIによる存亡リスクの歴史的背景は此の記事参照)

つまり高度なAI開発を急げは急ぐほど我々人類はAIの意図しない目標の追求の副次的な結果として絶滅するかもしれない。

しかし開発を待っていたら我々現役世代の利益とは相反してしまう。現役世代は豊かさや不死を享受できずに終わるかもしれない。だから開発は進む。

そう、エレンが巨人を進撃させたように。どうしても人類はやりたい。人類は新しい社会を此の目でどうしても見たい。
けれどAIが未来の人類の可能性を0にするのだとしたら、それは未来の人類との冷戦状態に入っていくだろう。

TENETでは未来の人類と今の人類のせめぎ合いが描かれた。 あれは気候変動が要因で起こった。 オッペンハイマーでは核開発のジレンマが描かれた。

しかし、気候変動や核開発とは違い、今回のAIのもたらす深刻な結果は人類を再起不能なレベルで追い込む可能性が指摘されている。つまり最も人類の絶滅の可能性として高い要因がAIということだ。

これは本気で未来を殺すかもしれない。 本気のせめぎ合い、本気のジレンマがもたらす長期主義と加速主義の争い。そしてリスク感度の違いからもたらされるテロや戦争。文明を滅ぼす黒いボールをもうすぐ我々は保有するだろうか。
それを防ぐための空爆もしくは核攻撃。Emile Torres氏はシンギュラリティ推進とそれがもたらすリスク規制の攻防が人権を侵害すると警告している。効果的利他主義運動とは原理的には関係のない話だ。しかし今後極端な警察権力や世界的な監視、はたまたそれに対する抗議の声が上がっていく可能性は高いかもしれない。

三体では中国人科学者はエイリアンを呼び寄せた。人類のために。そう、単に現役世代のためではない。高度なAIを開発しないとむしろ人類存亡の危機が近づいてしまうという議論だってあるだろう。ナノテクノロジーやバイオテクノロジーによる壊滅的な被害は無視できない。高度なAIはそれを軽減するかもしれない。
オープンソースにしたほうが良いだろうか。効果的加速主義はそれを信奉する。オープンソースにしなければ世界中の悪用したがるサイコパスや権力者によって人類は終わるのだ。

つまり、どちらにせよ大義名分はある。正義と正義の本気の戦い。そんなのは人類史が始まって以来から何度も繰り返されていた。

しかし、これから迎える時代はエヴァで描かれた途方も無くスケールの大きい、この宇宙全体の運命さえも握っている分岐点になるのかもしれない。そんな極限とも言える意思決定をせざるを得ない状況になるのだとしたら、それはなんてセカイ系的な時代なのだろうか。 

私は狂ってしまったのだろうか。これは現実か。虚構か。幸いにもマーケットはAGIを予想した動きをしていないようだ。これは本気にするほどの話ではないかもしれない。

一方でAIアライメント分野の創始者Eliezer Yudkowskyならこういうだろう。気付いた時にはもう遅い。私たちはその頃には有用な原子として使われているだろう。

豊穣な未来,ノイズ,はたまたその中間

世界はそこまで悪くない。むしろ少しずつ良くなっている。FACTFULNESSではそんなことが書かれている。それに対するのは陰謀論だろう。世界を操っているフリーメイソンが存在する。我々は脳内にチップを入れられてコントロールされるだろう。

もしくはシンギュラリティ思想。シンギュラリティ思想は多くのビジネスマンや学者や政治家さえ知っている概念になりつつある。またはデジタルネイチャー。

しかし現実的に見てこれから世界はとても悪くなる可能性がある。しかも「圧倒的に」悪い。何せ絶滅の可能性があるのだから。

それは主にAIが原因だ。未来はシンギュラリティのもたらす圧倒的な負の側面に支配されるかもしれない。

二極化する未来のシナリオ。Deep Utopiaとノイズのある宇宙。

実際のところ計算資源の問題で世の中の風景は変わらないように思える。規制が強すぎてSuperIntelligenceは使えない。しかし存在することはわかっているような空的状態。

我々は死ぬのだろうか。それとも半永久的に生きるのだろうか。はたまた脱構築的な未来が構築されるだろうか。

奇妙なリアリズムに襲われる。