ユヴァル・ノア・ハラリ：AIは人類を滅ぼすか？(2/5) - なぜAIが危険になりうるのか

知の巨人『サピエンス全史』のユヴァル・ノア・ハラリ氏が、AIの脅威について語る対談（2023年7月）の内容を、原文（英語の文字起こし）と共にご紹介します。

第1回でハラリ氏は、AIが史上初の自分で意思決定ができ、自らアイデアを生み出すことができるツールであると警鐘を鳴らしました。今回は、なぜそういう特徴を持ったAIが危険なのかが語られます。

＜対談＞
レックス・フリードマン（司会）：その点をもう少し掘り下げたいのですが、具体的に何が危険なのでしょう？アイディアの創造がますますAIに委ねられてしまうことですか？それとも、私たちの思考が時代遅れになってしまうことですか？アイデアの創出というは、そんなに人類の進化の根幹をなすものなのでしょうか？

ユヴァル・ノア・ハラリ：私たちがAIが創ったアイデアに抵抗できなくなるのが危険なのです。あるアイデアに抵抗するには、それが創られたプロセスをある程度理解している必要があります。そういった理解がない状態の危うさは、昔から語られてきました。古くはプラトンの＜洞窟の比喩＞にまでさかのぼります。彼は、人間というのは、洞窟の中で鎖につながれて壁に向かわされ、洞窟の入り口から壁に投影される影を見て、これが現実だと思い込んでいるようなものだと言ったのです。また、デカルトは＜デーモン仮説＞でこう自問しました。「もしかしたら、この世の全てを作り出している悪魔がいて、私を幻想で取り囲んで奴隷にしているのかもしれない。」ブッダも同じような疑問を持ちました。「もし私たちが幻想の世界に生きているとしたら？私たちはずっとその中で生きてきたのだから、すべての考えや欲望、自分自身への理解、これらはすべて幻想の産物ということになる。」
これは何千年もの間にわたって大きな哲学的問題でしたが、現代ではエンジニアリング分野におけるの現実的な問題になりつつあります。私たちが知る限りでは、全てのアイディア、これまでの人類の歴史において私たちが知っていること - 物語、映像、絵画、歌、オペラ、演劇など、私たちが出会い、私たちの心を形作ってきたものはすべて、人間が作り出したものです。今、私たちはこういった文化的創作物の多くが、人間でないものの知性からどんどん産み出される世界に生きています。遠くない未来には、物語、映像、歌、テレビ番組などのほとんどが人間でないものによって生み出されるかもしれません。仮に私たちが人間でないものの知性によって創られた幻想に浸っているとしましょう。そこで、私たちはそれがどう創られたのか知らないのに、それを創った非人間の知性は私たちを理解している。これは一種の精神的な奴隷状態で、私たちはそこから抜け出すことができないでしょう。非人間の知性は私たちを理解し、私たちを操る方法を理解していますが、私たちはこの物語や映像や歌のスクリーンの背後にあるものを理解していないからです。

＜英語（対談の文字起こし）＞
Lex Fridman: If you can just linger on that, what is the danger of that? That more and more of the creative side is done by AI. The idea generation. Is it that we become stale in our thinking? Is that idea generation is so fundamental to the evolution of humanity?

Yuval Noah Harari: That we can't resist the idea. To resist an idea, you need to have some vision of the creative process. Now, this is a very old fear. You go back to Plato's Cave. Some of this idea that people are sitting chained in a cave and seeing shadows on a screen, on a wall and thinking this is reality. You go back to Descartes, he has this thought experiment of the demon, and Descartes asks himself, "How do I know that any of this is real? Maybe there is a demon who is creating all of this and is basically enslaving me by surrounding me with these illusions." You go back to Buddha, it's the same question. What if we are living in a world of illusions? And because we have been living in it throughout our lives, all our ideas, all our desires, how we understand ourselves, this is all the product of the same illusions. And this was a big philosophical question for thousands of years. Now it's becoming a practical question of engineering. Because previously, all the ideas, as far as we know…, maybe we are living inside a computer simulation or for intelligent rats from the planet Zircon, if that's the case, we don't know about it, but taking what we do know about human history until now, all the stories, images, paintings, songs, operas, theater, everything we've encountered and shaped our minds, was created by humans. Now, increasingly, we live in a world where more and more of these cultural artifacts will be coming from an alien intelligence. Very quickly, we might reach a point when most of the stories, images, songs, TV shows, whatever are created by an alien intelligence. And if we now find ourselves inside this kind of world of illusions created by an alien intelligence that we don't understand but it understands us, this is a kind of spiritual enslavement that we won't be able to break out of, because it understands us, it understands how to manipulate us, but we don't understand what is behind this screen of stories and images and songs.