子供がいないディズニーランドのような世界——超絶AIがもたらす未来とは

かくして、想像するに、極端な場合、次のような世界が現実となりうる。技術が高度に発達した社会に、多くの極端な複合体が存在している。中には、現在地上に存在するいかなるものよりもはるかに複雑で知能の高いものもある——にもかかわらず、この世界には、自らの意識を持つものも、あるいは、それが幸福であることに倫理性があるものも存在しない。ある意味、そこは奇跡の経済と荘厳な技術が存在する世界だ。しかし、その恩恵を被るものはひとりとして存在しない。子供がいないディズニーランドのような世界がそこにある。

ニック・ボストロム『スーパーインテリジェンス：超絶AIと人類の命運』倉骨彰訳, 日本経済新聞出版, 2017. p.367-368.

ニック・ボストロム（Nick Bostrom、1973 - ）は、スウェーデン人の哲学者であり、オックスフォード大学マーティン・スクール哲学科教授。同大学の「人類の未来研究所」と「戦略的人工知能研究センター」の所長も務める。彼は「人間原理」に関する業績で知られる。人間原理とは、物理学、特に宇宙論において、宇宙の構造の理由を人間の存在に求める考え方である。学会誌や一般誌に論文や記事を書く傍ら、様々なメディアにも登場し、クローニング、人工知能、シミュレーテッドリアリティなどトランスヒューマニズム関連の話に詳しい。超絶知能AI（スーパーインテリジェンス）の問題を論じた著書『スーパーインテリジェンス』は2014年に書かれ、世界的ベストセラーとなった。

本書『スーパーインテリジェンス』では、人類に追いつくだけでなく、明らかに「超える」人工的な知能を「スーパーインテリジェンス」と名づけている。現時点では人間に匹敵する能力を備えたAI（汎用AI）は存在せず、いつそこまで到達するかも専門家の間で意見が分かれる（2022年に登場したChatGPTは言語的生成AIであり、汎用AIではない）。しかし本書では、スーパーインテリジェンス（超絶知能AI）が遠くない未来に実現すると仮定。その上でさらに汎用AIがスーパーインテリジェンスに進化した時、人類にいかなる利得やリスクをもたらすか、その可能性を網羅的に検討している。

本書が描く未来予想図はどちらかというと暗いものである。なぜならスーパーインテリジェンスが登場したとき、私たち人類はおそらくその超絶AIをコントロールすることができないからだ。スーパーインテリジェンスは、私たち人間が想像もつかない思考と行動をする可能性がある。人類滅亡さえ計画するかもしれない。つまり、汎用AIの開発にあたっては、いかにそのAIを安全にコントロールすることができるのか（あるいはできないのか）という「コントロール問題（control problem）」を同時に考えることが必要不可欠となる。

ボストロムが予想する汎用AI登場後の暗い未来の一つが「子供のいないディズニーランドのような世界」だ。その世界には、多くの複雑な複合体（ヒト類似知性体）が存在し、効率性が最大化された労働と奇跡の経済が存在するが、そこに居るのは自らの意識を持たず、幸福や苦痛といった感情を持たない労働者たちのみである。そもそも生産性や効率性を最大化させたのは、この世界に存在する何者か（人間）の幸福のためだったはずなのに、そうした幸福や倫理性といった人間的な価値観が、スーパーインテリジェンスによって不要とされる時代が来る可能性がある。

人間的な価値観や感情が不要になるかもしれない根拠として、ボストロムは次のような議論をしている。長期的にみれば、汎用AIの時代には合成知能的なAIが全盛となる。それに伴い、さまざまな汎用AIが現れるようなシナリオ（多極シナリオ）においては、快楽や苦痛といった情動は完全に姿を消す可能性が高い。合成知能AIにおいて、より進化した動機づけシステムは、快楽や苦痛といった生物進化の名残のようなものではなく、明確に効用関数で表されるものだろう。このシナリオの最も過激なバージョンが、全世界の労働者から、自らの意識や、幸福・苦痛といった人間的価値観が取り去られた世界である。かくして「子供のいないディズニーランドの世界」が到来することとなる。はたして、私たちはこのような未来を回避することができるのであろうか。