ユヴァル・ノア・ハラリ：AIは人類を滅ぼすか？(1/5) - AIについて全ての人が知っておくべきこと

知の巨人『サピエンス全史』のユヴァル・ノア・ハラリ氏が、AIの脅威について語る対談（2023年7月）の内容を、原文（英語の文字起こし）と共にご紹介します。

第1回は、AIについて全ての人が知っておくべきことをハラリ氏が語ります。

＜対談＞
レックス・フリードマン（司会）：AIが私たちを皆殺しにするのではないかと心配している人たちがいます。あなたは、人工知能のシステムがさまざまな方法で人類の文明を破壊する可能性について、心配されていますか？

ユヴァル・ノア・ハラリ：AIの危険性についてはよく議論します。私がAIが非常に危険な存在になるというシナリオを描くと、私がそういうシナリオを望んでいると思われ、問題になることがあるんですがね。でも、私は警告としているんです。私は、ロボットが街中を走り回り、皆を撃ち殺すという映画「ターミネーター」のシナリオのような単純なアイデアにはそれほど恐れを感じていません。それよりも、AIがどんどん力を蓄え、社会を支配し、私たちの生活を支配し、私たちから力を奪い、私たちが何が起こっているのかも理解できなくなり、私たちが私たちの生活や未来をコントロールできなくなることを心配しています。AIについては多くのことが語られていますが、私はAIについてすべての人が知っておくべきことが2つあると思います。一つ目は、AIは歴史上初めて自分で意思決定ができるツールだということです。これまで、道具というものは意思決定ができませんでした。ナイフを発明しても、原子爆弾を発明しても、原子爆弾は戦争を始めることも、どの都市を所有するかも決めることができません。しかし、AIは自分で決断することができます。自律型兵器システムは、誰を殺し、誰を爆撃するかを自分で決めることができるのです。もうひとつの重要な点は、AIは歴史上初めて、自ら新しいアイデアを生み出すことができるツールだということです。印刷機は私たちのアイデアを印刷することはできても、新しいアイデアを生み出すことはできませんでした。AIは完全に独力で新しいアイデアを生み出すことができます。これは前例のないことです。従って、AIは人間に力を与えるのではなく、人間から力を奪うことができる史上初のテクノロジーなのです。危険なのは、AIがどんどん私たちから力を奪っていき、私たちは無力になって、世界で何が起きているのか分からなくなってしまうことです。そしてこれは既に加速度的に起こり始めています。ローンを組むかどうか、住宅ローンを組むかどうか、仕事を与えるかどうかなど、私たちの人生に関わる多くの決定がAIによって下され、私たちの心や世界を形作るアイデアやイメージ、物語の多くが、人間ではなくAIによって生み出され、あるいは創造されているのです。

＜英語（対談の文字起こし）＞
Lex Fridman: Let me ask you a kind of a big philosophical question about AI and the threat of it. Let's look at the threat side. So, folks like Eliezer Yudkowsky worry that AI might kill all of us. Do you worry about that range of possibilities where artificial intelligence systems in a variety of ways might destroy human civilization?

Yuval Noah Harari: I talk a lot about it, about the dangers of AI. I sometimes get into trouble because I depict these scenarios of how AI becoming very dangerous, and then people say that I'm encouraging these scenarios. But I'm, you know, I'm talking about it as a warning. I'm not so terrified of the simplistic idea, again, the Terminator scenario of robots running in the street shooting everybody. I'm more worried about AI accumulating more and more power and basically taking over society, taking over our lives, taking power away from us until we don't understand what is happening, and we lose control of our lives and of the future. The two most important things to realize about AI—you know, so many things are being said now about AI—but I think there are two things that every person should know about AI. First is that AI is the first tool in history that can make decisions by itself. All previous tools in history couldn't make decisions; this is why they empowered us. You invent a knife, you invent an atom bomb—the atom bomb cannot decide to start a war, cannot decide which city to own. AI can make decisions by itself; autonomous weapon systems can decide by themselves who to kill, who to bomb. The second thing is that AI is the first tool in history that can create new ideas by itself. The printing press could print our ideas but could not create new ideas. AI can create new ideas entirely by itself. This is unprecedented. Therefore, it is the first technology in history that, instead of giving power to humans, it takes power away from us. The danger is that if it will increasingly take more and more power from us until we are left helpless and clueless about what is happening in the world. And this is already beginning to happen in an accelerated pace. More and more decisions about our lives, whether to give us a loan, whether to give us a mortgage, whether to give us a job, are taken by AI, and more and more of the ideas, of the images, of the stories that surround us and shape our minds, our world, are produced or created by AI, not by human beings.