見出し画像

長期主義とエヴァ/セカイ系

bioshok

X-risk。人類の未来の可能性が不可逆的に閉じるリスク。そこには人類絶滅のリスクも含まれる。

長期主義。X-riskはなんとしてでも避けねばならない。未来に存在しうる後続人類の数はほとんど無限大だ。よって未来の人類のこともある程度は倫理的に考えて現時点での意思決定をこなすべきだ。

主にベイエリアとオックスフォードで培われてきたこのような人類の膨大な未来の可能性が失われる天文学的な損失に対する懸念。元はある種人類を救うためのトランスヒューマニズム運動の挫折可能性から生まれたこの懸念。

しかしここで、存亡的破局を起こすのは核戦争でもパンデミックでもフリーメイソンでもない。

AIだ。

AIがもたらすリスクというと日本人はどうしても「自然災害」を思い浮かべてしまうのではなかろうか。

確かに、自然災害は壊滅的なリスクではあるが、人類が絶滅するという結果にまでは至らない。

ゴジラは自然災害だが、いずれ其の怒りは鎭まる。 風の谷のナウシカでは人類は存続の危機に危ぶまれるが地球生命は循環する。どこかAIも自然災害として考えてしまうのではないだろうか。それが日本的な感性なのかもしれない。

しかし、AIとゴジラ（原子力技術）や風の谷のナウシカ(科学兵器による戦争)のもたらすリスクの大きさは違う。
リスクとしてはAIによって人類が「絶滅」する可能性の方が核戦争やパンデミックなどを起因とする絶滅リスクよりも高いとされる。

つまり、AIによる脅威への懸念は欧米一部では他の懸念とはくっきり分かれている。少なくとも分かれていると感じさせる雰囲気が一部にはある。

そして、彼らの(一部)によるAIのもたらす深刻なリスクへの懸念は「世界の終わり」、「終末」、そしてそのイメージは地球を超えたこの宇宙全て、光円錐内部全ての終わりまで飛躍していく。

地球の中で起こる自然災害は宇宙すべてを終わらせることはない。精々地球の一部がなんらかの意味で壊滅するくらいだろう。

しかし、宇宙的な空間にまで広がるその「恐怖」と「スケール」はクトゥルフ神話的であり、現にAIアライメント(AIシステムの持つ目標と人間の意図した目標を整合させること)に失敗したAIはクトゥルフ神話の触手状のモンスターとしてミームでは描かれる。

AI Doomerism系Xアカウントのミーム画像

クトゥルフ神話なんて馴染みがない。宇宙が終わるなんてことも想像しにくい。日本人にとってAIによるx riskを体感することは難しいのだろうか。

しかしもう1つ巨大なミームがある。それはエヴァンゲリオンだ。

超知能の誕生。人類を遥かに凌ぐ知能を持った存在の誕生とその後のあまりにも不確実な未来は、エヴァの描く終末的な世界観と相性がいいかもしれない。

Open AIの解任騒動ではX上でミームにもなり、衒学的な雰囲気がAGIの安全保障上の秘匿と結び付けられ、拡散される。

超知能の誕生はサード・インパクトにもなぞらえられる。 エヴァは自然災害を描かない。あれは世界の終わり。宇宙の終わり。それを神話的な雰囲気で描く。 ATフィールドが溶け合い、最終話ですべての人がどこか諦観したとも希望のあるとも言い得ぬ曲「Komm, süsser Tod」と共に人類がある意味で「絶滅」するさまは、X riskを想像するのに相当相性が良いかもしれない。

エヴァの最後の人類補完計画のイメージ(DALL-E3で生成)

ゴジラではX-riskはわからない。あれはあまりにも地球の中の災害過ぎる。もっと世界全体じゃないと。

そう、X-riskや長期主義は「セカイ系」的な感性のもとにあるのかもしれない。

エヴァ、最終兵器彼女、イリヤの空UFOの夏、涼宮ハルヒの憂鬱、ぼくらの、まどか☆マギカ、シュタインズ・ゲート。 ほんの数百人、コアメンバーとなるともっと少ないかもしれない人数が世界の終わりか世界を救うテクノロジーを開発している。

セカイ系。 それは身近な友達や恋人との関係性が中間項にある全ての社会的な詳細を超えて、世界の終わりとその選択に直結していく。 Open AI社員達は人類を救うために 「セカイ」を終わらせるかもしれない。

AGI。ASI。シンギュラリティ。X risk。

これは科学的にも現実になり得る。SFじゃない。

ほ、ん、と、う、か、よ。

僕らが見てきたセカイ系は、単なるフィクションじゃなかったのか？ 僕らが感動したメタフィクショナルな要素のあるセカイ系を消費しきった後でさえ、僕らは日常が続くと思っていた。 だが本当にAIシステムはこの世界を破壊するかもしれない。

これは現実の脅威なのかどうか今も議論がなされている。 僕らは、絶滅するのだろうか？

ここで最も重要なのは、ほんの100億人しかいない一人ひとりの小さな行動がp（doom）と呼ばれるx riskの可能性を下げたり上げたりするかもしれないということだ。宇宙の光円錐上のすべての運命を握って。

これは長期主義という未来の人類のこともある程度大事に考えなくてはいけないという考え方にも繋がる。

私たちは無限の未来に存在する10の累乗根で表すしかないような単位すらないような莫大な人類の意識的な子孫たちの運命を握っているのかもしれない。たった一人の行動で、超遠大な可能世界における未来の世界線におけるユートピア数が増減するかもしれない。

たった一人、そう、そこにいるなんの取り柄もないあなたが、今外に散歩するかしないか、どこかの団体に数円寄付するかしないかで、世界の命運、まさにp(doom)が変わるかもしれない。

あなたの行動が及ぼす世界への影響はとてつもなくわずかだったとしても、それは莫大な未来の人類の後続主体の価値によって、貴方の行動が及ぼす未来における価値の期待値は莫大に上がったり下がったりする。

そう。

単なる、どこにでもいるような、あなたの行動、が莫大な影響を及ぼす。

誰にも認められず、単に日々を無為に生きていると感じているかもしれない、今、これを読んでいる、あなた、の選択で。

あなたの選択で、人類の未来は決まるかもしれない。

少なくとももし可能世界線がシュタインズゲートよろしくあるのなら、文字通りあなたの行動は「圧倒的な価値」を長期主義的な観点からは持つかもしれない。

つまり、アニメの世界の話だった「セカイ系」が、あなたの現実を侵食する。

これは現実か？エヴァ、ぼくらの、まどマギの世界なんて、そんなもの、フィクションだったろ？

いやAIによる革新は

げ、ん、じ、つ、だ。

そしてもしかしたら、あなたの行動が、極微小な存亡リスクの低下、もしくは上昇を招き、未来のすべての世界に多大な影響を与えると解釈できるかもしれない。

宇宙の命運が今、あなたにかかっている。

誰でもない、あなたに。

無限とも言えるような人類の未来の存続に

君の行動が重みづけられる。それも無限に近い質量で。


僕は、エヴァに、、、

乗るべきなのか・・・？


逃げちゃダメだ、逃げちゃダメだ、逃げちゃダメだ



僕は、エヴァンゲリオン初号機のパイロットだ

※長期主義的観点からこのような期待値計算による意思決定の不可解さは指摘されており、自己批判されている。そのためこのような考え方をする人は効果的利他主義コミュニティや合理主義コミュニティにおいても少ないだろうということは注意されたい。この記事ではAIによる存亡リスクの感覚を理解するためにあえて書いている。


と、ここまでポエム過ぎるくらいポエムに書いたが、日本人にとっては「セカイ系の作品」に対する感覚がX-riskを理解するための感覚導入剤になるかもしれない。

つまるところあなたの行動に世界の命運はかかっているかもしれない。しかも命運というのは人類の存亡の危機。もしかしたらこの宇宙全体にまで広がる影響があるだろう。

このような、全宇宙的な終末と目の前に広がるあまりにも日常過ぎる世界とのギャップへの奇妙で遠大で中二病的な妄想はあまりに「セカイ系」的だ。

しかしあなたの行動が理屈上は無限に近い期待値を持ってして未来から遡及的に価値づけられる。
その理論を否定しきれない理性とそれでもそこにある、目の前にある日常から生まれる現実感のなさ。

もちろんセカイ系の作品だからといって人類が絶滅するとは限らない。例えば新海誠監督の作品の天気の子や君の名は気候変動（都心が水没）や彗星の衝突(村が消滅)を描いている。

しかし、感覚としては世界が非常識的なレベルで極端に自分の決定次第で変わる。これこそがX-Riskとそれを回避した場合のユートピアの二つの極端な世界イメージを生み出す長期主義的な世界観を理解するための土台になるかもしれない。

貴方の小さな選択の結果が、SF的に巨大な構造に直結する感覚。これはセカイ系の感覚にやはり似ている。

以下の動画もイメージの参考になるかもしれない。

僕たちがいるこの宇宙は「セカイ系的」なのだろうか。

それとも世界の終わりというバッドエンドでも、ユートピアというトゥルーエンドでもない、アナザーエンドのある世界線に、僕たちはいるのだろうか。

確率的な不安(この世界はセカイ系なのかそうではないのか)に襲われる。

それと同時に実存的な不安（私の行動がどう世界の命運につながるのか）にも襲われる。

その両者の不安をメタレベルで行き来する。

ゲーム的な感覚と、実存的な感覚。

ゲーム的リアリズムと大きな物語が併存する。

こんな時代、他にあるだろうか。



この記事が気に入ったらサポートをしてみませんか？