ユヴァル・ノア・ハラリ：AIは人類を滅ぼすか？(3/5) - なぜAIが危険になりうるのか

知の巨人『サピエンス全史』のユヴァル・ノア・ハラリ氏が、AIの脅威について語る対談（2023年7月）の内容を、原文（英語の文字起こし）と共にご紹介します。

＜対談＞
レックス・フリードマン：では、もしアイデアの空間で作動している一連のAIシステムがあり、それらは私たちよりもはるかに優れていて、私たちにはほとんど理解できず、不透明で、見通すことができないとしたら、幸福の追求はどう変わるのでしょうか？もし人間が行っているクールなことのほとんどを、我々よりもはるかに上手くやってのけるAIシステムに囲まれるとしたら、我々は何に喜びを見出せば良いのでしょう？

ユヴァル・ノア・ハラリ：AIがやってもいいこともあるんです。人間の仕事や作業の多くは、退屈で、楽しくなく、感情的にも精神的にも成長しません。こういう仕事はロボットに引き取ってもらっても構わないのです。スーパーマーケットや食料品店で毎日何時間もかけて商品を渡し、代金を請求している人たちのことです。これが自動化されるなら、素晴らしいことですよ。私たちは、そのような人々がより良い仕事を持ち、自活し、社会的能力、精神的能力を開発できるようにする必要があります。そして、AIが創り出す理想的な世界とは、私たちがやらない方がいいことをAIが取り除いてくれて、私たちが最も重要なこと、私たちの本質の最も深い部分、私たちの可能性に集中できるようにすることなのです。今の段階でAIにアイデアの領域を支配させると、AIは私たちを理解していないため、非常に危険だと思います。なぜならAIは私たちのことを理解していないからです。現在のAIは概して、私たちが何千年もかけて作り出してきた、人間の文化的産物を消化しています。これらの文化的産物をすべて食べ、消化し、そして独自の新しいものを生産し始めるのです。しかし、私たちはまだ自分自身、私たちの身体、私たちの脳、私たちの心、私たちの心理を解明できていない。ですから、私たちの欠陥だらけの理解に基づいたAIは、非常に危険なものなのです。私たちはまず、自分自身を開発し続ける必要があると思います。AIの開発に1ドル、1分を費やすごとに、人間の意識の開発にもう1ドル、1分を費やせば、人間の心は大丈夫でしょう。危険なのは、私たちが自分自身を理解していないときに、AI開発に全力を費やして、AIに乗っ取られてしまうことです。それは人類破滅への道となります。

＜英語（対談の文字起こし）＞
Lex Fridman: So, if there's a set of AI systems that are operating in the space of ideas, they're far superior to ours and we're almost not able to, it's opaque to us, we're not able to see through, how does that change the pursuit of happiness? The human pursuit of happiness, life, where do we get joy if we're surrounded by AI systems that are doing most of the cool things humans do, much better than us?

Yuval Noah Harari: Some of the things, it's okay that the AIs would do them. Many human tasks and jobs, you know, it’s the drudgery, they are not fun, they are not developing us emotionally or spiritually. It's fine if the robots take over. I don't know, I think about the people in supermarkets or grocery stores that spend hours every day just passing items and then charging you the money. I mean, if this can be automated, wonderful. We need to make sure that these people then have better jobs, better means of supporting themselves and developing their social abilities, their spiritual abilities. And that's the ideal world that AI can create, that it takes away from us the things that, it's better if we don't do them and allows us to focus on the most important things and the deepest aspects of our nature, of our potential. If we give AI control of the sphere of ideas at this stage, I think it's very, very dangerous because it doesn't understand us. And AI at present is mostly digesting the products of human culture, everything we've produced over thousands of years. It eats all of these cultural products, digests it, and starts producing its own new stuff. But we still haven't figured out ourselves, our bodies, our brains, our minds, our psychology. So, an AI based on our flawed understanding of ourselves is a very dangerous thing. I think that we need first of all to keep developing ourselves. If for every dollar and every minute that we spend on developing AI, artificial intelligence, we spend another dollar and another minute in developing human consciousness, the human mind will be okay. The danger is that we spend all our effort on developing an AI at the time that we don't understand ourselves and then letting the AI take over. That's a road to a human catastrophe.