ユヴァル・ノア・ハラリ：AIは人類を滅ぼすか？(4/5) - なぜAIが危険になりうるのか

知の巨人『サピエンス全史』のユヴァル・ノア・ハラリ氏が、AIの脅威について語る対談（2023年7月）の内容を、原文（英語の文字起こし）と共にご紹介します。

＜対談＞
レックス・フリードマン（司会）：大規模言語モデルが如何に良く機能するかには驚きましたか？知性の本質についての理解を改めることになりましたか？

ユヴァル・ノア・ハラリ：はい、私は8年ほど前からAIについて書いており、あらゆる予測や推測に携わってきました。まさか2023年に、人間かAIかわからないような会話ができて、美しい文章を書けるAIが登場するとは思わなかった。AIが書いた文章を読んで、最も印象的だったのは、その一貫性です。人々は「ああ、何でもない。ただ、あちこちからアイデアを取ってきて、私のために言葉を並べているだけだ」と思うでしょう。そんなことありません、とても首尾一貫している。文章を読んでも、段落を読んでも、文章全体を読んでも、そこには論理があり、構造がある。

レックス・フリードマン：そう、首尾一貫しているだけでなく、説得力がある。そして、あなたの作品にもつながる面白い点は、それが真実である必要はないということです。それは間違ったことを言うけれど、説得力があるのです。そして、恐ろしくもあり、美しくもあるのは、私たちの脳が言語を愛するあまり、事実が正しくあることを必要としないということです。ただ、美しい物語であることが必要なのです。

ユヴァル・ノア・ハラリ：ええ。それが何千年もの間、政治や宗教の秘密でした。そして現代ではそれがA Iの秘密になってきています。

レックス・フリードマン：では、これまでに書かれた本の中で最もインパクトのある言葉を書いてきたあなたとしては、自分が人類最後の有能な作家の一人になるかもしれないということについて、どう感じますか？

ユヴァル・ノア・ハラリ：いい質問ですね。

レックス・フリードマン まず第一に、その可能性はあると思いますか？

ユヴァル・ノア・ハラリ：あり得ると思います。AIに「ユヴァル・ノア・ハラリのような文章を書け」と言われ、それが何を生み出したかという例をたくさん見てきました。

レックス・フリードマン：自分で書けたと思う以上のものができたことはありますか？

ユヴァル・ノア・ハラリ：アイデアの内容というレベルでは、ありません。私なら決して言わないようなことも書いています。しかし、文章の一貫性や質に関しては、信じられないほど素晴らしい。10年後、20年後は、もしかしたら内容のレベルでももっと良くなっているかもしれません。

レックス・フリードマン：ユヴァル・ノア・ハラリのスタイルで「今夜アイスクリームを食べるべき理由」みたいなことを書いて、説得力を持たせることができるようになるかもしれない。

ユヴァル・ノア・ハラリ：私がこの件について説得力のあることを言えるかどうかはわからないですがね。

レックス・フリードマン：あなたは驚くでしょうね。なぜアイスクリームが体にいいのか、進化生物学的な説明が出てくるかもしれない。つまり、書くことの本質が変わるということです。

＜英語（対談の文字起こし）＞
Lex Fridman: Does this surprise you how well large language models work? I mean, has it modified your understanding of the nature of intelligence?

Yuval Noah Harari: Yes, I mean, you know, I've been writing about AI for, I know, like eight years now and engaged with all these predictions and speculations, and when it actually came, it was much faster and more powerful than I thought it would be. I didn't think that we would have in 2023 an AI that can hold a conversation that you can't know if it's a human being or an AI, that can write beautiful texts. I mean, I read the texts written by AI, and the thing that strikes me most is the coherence. You know, people think, "Oh, it's nothing. It just takes ideas from here and there, words for me and put it”. No, it's so coherent. I mean, you read not sentences, you read paragraphs, you read entire texts, and there is logic, there is the structure.

Lex Friedman: Yes, not only coherent it's convincing. And the beautiful thing about it that has to do with your work, it doesn't have to be true. It gets facts wrong, but it's still convincing. And it is both scary and beautiful that our brains love language so much that we don't need the facts to be correct. We just need it to be a beautiful story.

Yuval Noah Harari: Yeah. And that's been the secret of politics and religion for thousands of years, and now it's coming with AI.

Lex Fridman: So you, as a person who has written some of the most impactful words ever written in your books, how does that make you feel that you might be one of the last effective human writers?

Yuval Noah Harari: That's a good question.

Lex Fridman: First of all, do you think that's possible?

Yuval Noah Harari: I think it is possible. I've seen a lot of examples of AI being told, "Write like Yuval Harari," and what it produces.

Lex Fridman: Has it ever done better than you think you could have written yourself?

Yuval Noah Harari: I mean, on the level of content of ideas, no. There are things I say I would never say that. But when it comes to the coherence and the quality of writing is such that I say it's unbelievable how good it is. And who knows, in 10 years, in 20 years, maybe it can do better even on the level of content.

Lex Fridman: So that people would be able to do, like, a style transfer to, in the style of Yuval Noah Harari write anything like “why I should have ice cream tonight?” and make it convincing.

Yuval Noah Harari: I don't know if I have anything convincing to say about this.

Lex Fridman: I think you'd be surprised. There could be an evolutionary biology explanation for why ice cream is good for you. Yeah, so I mean, that changes the nature of writing.