存亡リスクに対する「守護AI」の必要性と達成すべき2つの条件
要約
テクノロジーが現在のペースで発展し続ければ、今後数年から数十年の間に「文明が確実に破壊されるレベルのテクノロジー」が広く一般に普及する可能性が高い。その結果、文明の滅亡を招くような壊滅的リスク(=存亡リスク)が大幅に増加することが予想される。本稿ではニック・ボストロムが提唱した「脆弱世界仮説」を検討し、将来的な技術革新に伴う存亡リスクに対処する方法を提案する。
結論として、技術革新に伴う存亡リスクを十分に排除するためには、超人的能力を持つ「守護AI」が必要になるだろ