ユヴァル・ノア・ハラリ、AI、未来の技術、社会、そしてグローバル金融について語る

「みなさん、こんにちは。ここにお集まりいただき、うれしく思います。このサミットでは、AIがどこに向かっているのか、金融機関や中央銀行がAIで何をしようとしているのか、また、AIから生じる可能性のあるリスクをどのように管理しようとしているのかについて議論してきました。ここでは、AIの世界や金融の世界から少し離れて、より広い社会にとっての機会や脅威について考えてみたいと思います。
もし良ければ、あなたがおっしゃっていたことについて触れたいのですが、現在の世界の金融システムを規制しようとする真剣な試みは、人間が理解できるレベルにあるとは思えないとおっしゃっていましたね。そして、AIに関する問題を考えると、金融システムがより理解しやすくなるとは思えません。この状況で、規制当局や監督機関は、すでに複雑な金融業界の文脈でAIについてどのように考えるべきだと思いますか？」
「それは非常に重要な質問ですね。私たちが理解しなければならないのは、現時点では人々が金融を理解する必要があるということです。おそらく、人口の1%だけが金融システムがどのように機能しているかを本当に理解しているでしょう。もしこの数字がゼロになったらどうなるでしょうか？

大統領も首相も、中央銀行の誰も金融を理解できなくなるのです。なぜなら、AIが複雑すぎて理解できなくなるからです。これは、私たちがこれまで経験したことのないような政治的、社会的危機につながる可能性があります。人間からアルゴリズムへ、AIの形態へと力が移行する可能性があります。

まず、金融とは何か、金融セクターは何をしているのかを説明しましょう。農家は私たちが食べる食べ物を育て、労働者は私たちが着る布地を生産します。では、金融システムは何をしているのでしょうか？それは信頼を生み出しているのです。究極的に、金融システムの製品は信頼なのです。例えば、お金は何百万人もの見知らぬ人たちの間に瞬時の信頼を生み出す仕組みです。私がお店に入って、一生会ったことのない見知らぬ人に紙切れを渡すと、その見返りに食べ物をくれます。債券や株式なども同様です。人々は歴史上、さまざまな金融商品を発明してきましたが、それらが本当にしていることは、何百万人もの人々の間に信頼を生み出し、彼らがリソースや知識を共有し、共通の目標に向かって協力できるようにすることなのです。
これまで、お金や債券や株式のような金融商品を理解し、新しい金融商品を発明できる唯一の存在は人間でした。馬はお金を理解しませんでした。私たちはお金で馬を売り買いしましたが、馬はお金を理解していなかったので、例えば100万頭の馬を団結させることはできませんでした。AIは、私たちが作り出した最初の道具で、実際に私たちよりも金融をよく理解できるのです。なぜなら、金融は結局のところ、AIにとって最も簡単に理解できるものだからです。それはただのデータ、ただの情報です。皿を洗うには、AIは現実世界、物理的な世界で何かをする必要がありますが、それは難しいです。しかし、金融を理解するのは単なる情報の入出力です。
危険なのは、一方では悪意のある者の手にAIが渡ると、人々の間の信頼を破壊する可能性があることです。そして他方では、主な信頼が異なるAIシステム間のものになる可能性があることです。世界の金融活動のほとんどがAIによって行われ、人間が金融システムのほとんどを理解する能力を失い、それが私たちの脳にとって複雑すぎるという状況を想像してみてください。そして金融危機が起こったとき、どの政治家も何が起こっているのか理解できず、危機が何であり、可能性のある解決策は何かをAIに頼らざるを得ない状況を想像してみてください。政治的な影響は様々なレベルで危険ですが、最も明確なのは、世界の非常に重要な部分、そして政治の非常に重要な部分の制御を、私たちが規制や監督できない非人間的な知能に本当に与えてしまうことです。」
「そうですね、これはとても厳粛なメッセージだと受け取りました。もう少し詳しく見ていきましょう。おっしゃるように、金融システムを理解しているのは1%かもしれません。私は、ほとんどの人が飛行機の仕組みをほとんど理解していないにもかかわらず、互いに知らない人たちが私たちをAからBへ事故なく運んでくれると信頼して飛行機に乗っていると主張したいと思います。しかし、あなたの言葉から聞こえてくるのは、この最後の1%がゼロになると、私たちは皆深刻な問題に陥るということですね。あなたの言葉をキャッチフレーズにすると、「さらなる信頼なくして、さらなるAIなし」となりますね。
私たちは幸運なことに、AIの探索の初期段階にいると言えるかもしれません。少なくとも今のところそう仮定しましょう。あなたは、注意しないと将来の意思決定者が単なる操り人形に減じられ、実際の意思決定者は単なるアルゴリズムになる可能性があると警告しています。しかし、もしその道に進みたくないのなら、つまり、歴史や未来が予め決められているわけではなく、私たちが実際にどこに行きたいかを決めることができるのなら、金融システムだけでなく、国全体の意思決定においても、そのような状況に陥らないようにするために、今私たちが手にしているツールで何をする必要があると思いますか？」

「AIが完全に理解不能になることを防ぐ必要があります。もし人間や人間社会についての決定を下す大きな力をAIに与えるなら、私たちにはそれを理解し、規制する能力が必要です。これが重要な条件です。人類の1%が何かを理解している状況と0%の状況では大きな違いがあります。

そして、あなたが挙げた飛行機の例は完璧です。そうです、だからこそ私たちは専門家を信頼しているのです。飛行機や医療など、多くの分野で専門家を信頼しています。金融も同じです。すべての人がすべてを理解する必要はありません。それは本当に不可能です。
しかし、例えば2007年から2008年の最後の大きな金融危機を考えてみてください。それは、非常に賢い人々が発明したが、ほとんど誰も理解していなかった新しい金融ツール、新しい金融商品の規制の失敗から始まりました。CDOsですね。そのため、規制の監視が欠けていました。今から10年後、AIが新しい金融商品を作り出す状況を想像してみてください。それはCDOsよりも桁違いに複雑で、理解するには何兆ものデータポイントを調べる必要があります。私たちにはできませんが、AIにはできます。数年間は完璧に機能し、多くの信頼を生み出し、経済成長や利益を生み出します。そして何かがうまくいかなくなり、誰も理由がわかりません。再び、私たちはAIに何が起こったのか、それについて何をすべきかを尋ねることができますが、これは非常に危険な状況です。
たとえAIが良いアドバイスをくれたとしても、公衆が政治システムを信頼し続けるかどうかという問題が生じます。あなたは、これらの決定を下すはずの政治家に投票しますが、彼らはもはや何が起こっているのか理解できなくなっています。私たちはすでに、公衆が専門家や政治家、民主主義機関への信頼を失っている状況にあります。これは、一般の人々と、何が起こっているのかを理解し、規制しているはずの専門家や政治家との間の信頼の危機をさらに悪化させる可能性があります。」
「あなたの歴史家としての日々の仕事に話を戻しましょう。人工知能にはリスクがあるのはわかります。おそらく世界が直面した最大の転換点かもしれません。しかし、歴史家として、これは世界が見た最初の大きな転換点ではありません。おそらく最大のものですが、産業革命、汎用技術の出現、現代民主主義の到来などもかなり画期的な変化でした。いくつかの革命や戦争も含めて、相当深刻な変動がありました。
そこで私の質問は、ここで過去から学べることは何でしょうか？あなたが警告しているような状況に陥らないようにするために。歴史家として、人々が実際に物事をうまく扱い、間違いを避けることができた良い例はありますか？私たちが参考にできるようなものは？」
「はい、人間は非常に適応力があると思います。私たちが発明するものはすべて、ポジティブな可能性とネガティブな可能性の両方を持っています。ナイフを発明すれば、それで誰かを殺すことも、手術で命を救うことも、サラダを切ることもできます。常にこの両方の可能性があり、時間とともに人間は危険を学び、新しい技術や新しい構造を最善の方法で使用する方法を理解します。問題は移行期間です。問題は道のりです。たとえ最終的に正しい方向に向かったとしても、その途中で危険で失敗した実験を経験しなければならないことがよくあります。
例えば産業革命を例に取ってみましょう。18世紀、19世紀に機械が経済と社会を変革し始めたとき、機械が何をするかについて多くの終末論的な予言がありました。2024年の今から振り返ってみると、最終的には多かれ少なかれうまくいったと言えるでしょう。蒸気機関や電気、列車を使って、18世紀よりも繁栄し、さらには平和な社会を構築する方法を学びました。しかし、大きな問題は途中での失敗した実験でした。
例えば、近代帝国主義は産業社会を構築する方法についての非常に大きな失敗した実験でした。19世紀には、効果的な産業社会を構築する唯一の方法は帝国を構築することだと主張する人々がたくさんいました。なぜなら、以前の農業社会とは異なり、産業社会は多くの原材料とグローバル市場を必要としており、それを実現する唯一の方法は帝国を構築することだったからです。そのため、帝国主義は、その数百万の犠牲者と恐ろしい行為とともに、実際には産業社会を構築する方法についての失敗した実験だったのです。
共産主義も産業社会を構築する方法についての別の失敗した実験でした。1920年代、1930年代、さらにはそれ以降も、多くの人々がソビエトがしていることが産業社会を構築する最良の方法だと考えていました。そしてそれが電気や蒸気機関、列車を使用する最良の方法ではないと気づくまでに、数十年と数千万の犠牲者を要しました。
ナチズムも産業社会を構築する別の失敗した実験でした。もし電気や内燃機関、列車などの使い方を最善のものにするために、帝国主義や全体主義、世界大戦のような失敗した実験を経なければならなかったとしたら、21世紀には、はるかに強力な技術の使い方を学ぶときに何が起こるでしょうか。
AIは再び、産業革命で見たものよりも桁違いに強力な可能性があります。なぜなら、AIは歴史上初めて、自分で決定を下し、自分で新しいアイデアを生み出すことができるツールだからです。蒸気機関は自分をどう使うか決定できませんでした。私たちが蒸気機関をどう使うか決めたのです。原子爆弾でさえ新しいアイデアを生み出すことはできませんでしたが、AIは自分で決定を下し、これがAIの定義そのものです。それは私たちが知らないことを学び、独立して決定を下し、人間が一度も考えたことのない全く新しいアイデアを生み出すことができる機械なのです。これらのツールを良い方法で使用する方法を学ぶことは、蒸気機関の使い方を学ぶよりもはるかに複雑になる可能性が高いです。
最終的にはうまくいくと言えるかもしれませんが、歴史家として私が懸念しているのは、最終結果ではなく道のりです。もし私たちがAIに基づいて、再び帝国や全体主義体制、世界大戦のサイクルを経なければならないとしたら、これは非常に悪いニュースです。」
「そうですね、明るい面を見出すとすれば、最終的には正しい方向に向かうということですね。そして、さらにポジティブに考えれば、私たちや子供たち、孫たちは、当時の人々が持っていなかった知識を持つことになるでしょう。そのような期間を早送りするか、完全に回避できることを願っています。
その方法の一つは、リスクに注意を払うことだと思います。技術は素晴らしいものですが、間違った使い方をすると非常に危険になる可能性があります。聴衆の中には、AIが意思決定を引き継ぐのは避けられないと考える人もいるかもしれませんが、少なくとも意思決定に影響を与えることは確かでしょう。私たちは金融政策の決定を自動化できるかどうかについて議論してきましたが、答えはイエスです。しかし、人間として、私たちは常に誰かに責任を負わせたい、あるいは誰かを非難したいと思っています。それは私たちの深い人間的特徴です。結局のところ、私たちは機械よりも互いに交流したいのです。機械は役立ちますが、最終的には私たちはまだ十分に人間的で、互いに交流したいと思っているのです。
15年ほど前の金融危機の原因についてのあなたの見解を考えると、私はあなたの質問への答えがわかると思います。しかし、それでも挑戦してみましょう。国際決済銀行の使命は、国際協力を通じて中央銀行を支援し、金融と財政の安定性を追求することです。個人的には、中央銀行の美しさは、公共部門の他の多くの部分ほど短期的な政治的意思決定に依存していないことだと思います。中央銀行がうまく機能し、適切な権限を持っていれば、実際にはより長期的な視点を持つことができます。
AIが注意深く使用される国際協力を推進する上で、中央銀行に役割があると思いますか？中央銀行コミュニティが良い実践を示すことができると思いますか？もちろん、別の議題を持つ人々もいるでしょうが、それは最終的に法執行機関や軍事防衛に任せなければならないでしょう。あなたのかなり悲観的な予測から抜け出す方法はあると思いますか？」
「もちろんです。もし運命づけられていたら、この会話をする意味はありませんからね。」
「それを聞いて安心しました。ありがとうございます。」
「歴史は決して決定論的ではありません。私たちには常に選択肢があります。同じ技術は常に異なる方法で使用することができます。20世紀を振り返ってみると、産業技術は全体主義体制を作り出すためにも、自由民主主義を作り出すためにも使用されました。今日の北朝鮮と韓国を見てください。彼らは全く同じ技術にアクセスできますが、それを非常に異なる方法で使用しています。
技術を賢明に使用する方法を確実にするために、私は何か技術的なガジェットにそれを任せることは信用しません。人間を介在させる必要がありますが、個々の天才やカリスマ的なリーダーも信用しません。歴史の中で繰り返し見られる解決策は、機関です。人々はしばしば機関を複雑で官僚的だと感じますが、これは人間が考え出した最良のものです。私たちは良い機関を構築する必要があります。これが、AIやその他の技術の最も危険な可能性から私たちを本当に守ることができる唯一のものです。
AIの規制について考える際に、銀行にとって非常に重要な2つのことがあります。まず、AIが説明責任を持ち、理解可能なままであることを確実にすることです。もし私たちがもはやそれを理解できない点に達したら、少なくとも民主主義社会では、これは本当に民主主義の終わりです。民主的な公衆がもはや金融決定を理解し、誰かに責任を負わせることができなくなれば、これは政治の非常に大きな部分、経済に関する非常に大きな部分です。もちろん、AIを理解するために技術にも頼る必要がありますが、人間を介在させ続ける必要があります。そのために、良い人間の機関を構築する必要があります。
もう一つのポイントは、信頼の問題に焦点を当て続けることです。最初に話したように、お金は本当に信頼です。お金は金や銀や紙でできているわけではありません。お金は人々の間の信頼です。これが金融システムの目的です。金融システムを規制する際の重要な問題は、より多くの人々の間でより多くの信頼を作り出すことをどのように容易にするかということです。これを達成すれば、目標は達成されます。」
「人間を介在させ続けるべきだとおっしゃいましたが、私はもっと野心的であるべきだと思います。そして、聴衆に質問を受け付ける前に、人類の強い特徴の一つを指摘させてください。それは、私たちには夢があるということです。そして、私たちがすることの中には、完全に合理的ではないものもあり、中には少し狂っていたり、純粋な偶然だと明らかになるものもあります。
いくつか例を挙げましょう。月に人を送るというアイデアは、完全に合理的ではありませんでした。おそらく今日の予算委員会では生き残れなかったでしょうが、60年代にはうまくいきました。ありがたいことです。偶然の発見の例としては、ペニシリンの発見があります。アレクサンダー・フレミングは非常に優れたマーケターでしたが、確かに非常に刺激的な例です。
個人的には、AIがこのような完全に合理的ではない、あるいは偶然に起こるような出来事を再現できるとは思いません。私の見るところ、人間はまだ、これら二つの例が示すような量子的飛躍を生み出す上で重要な役割を果たすでしょう。それとも、AIがそれらも引き継ぐと思いますか？」

「多くの人がAIは決して創造的にはなれないと言いますが、すでに非常に創造的です。例えば、囲碁のゲームを見てください。これは世界が本当にAI時代に目覚めた最初の出来事の一つでした。

囲碁はチェスに似たボードゲームですが、はるかに複雑です。人々は東アジアで3000年間囲碁をしてきました。何千年もの間、教養ある人なら誰もが知っておくべき最も重要な芸術形式の一つとみなされてきました。囲碁の遊び方や異なる戦略について、全思想学派がありました。
そこにAlphaGoが登場し、数週間か数ヶ月で革命を起こしました。3000年間誰も考えつかなかった方法で囲碁を打ち始めたのです。明らかになったのは、私たちは有機体で進化によって進化してきたので、私たちの想像力や考え方は、囲碁をする景観の中の特定の領域に限定されているということです。3000年間、私たちはこの限られた景観、限られた領域しか探索していませんでした。AIは有機体ではありません。人間やチンパンジーや犬のように考えません。全く異なる方法で決定を下します。そして非常に短い時間で、この囲碁の景観の中で完全に新しい、または異質な領域を探索し始めました。

囲碁で真実なことは、科学や芸術のますます多くの分野で真実です。AIは今や音楽を作曲しています。人々は、「はい、でもそれは以前の人間の交響曲や詩、歌からだけ学んでいるんだ」と言います。今のところそれは事実です。しかし、これは私たちにも当てはまります。人間の作曲家も以前の経験や前例に頼っています。しかし、すでに今、AIは音楽の景観の中で新しい領域を探索し始めています。

そして、おそらく最も重要なのは、AIはまだほんの赤ん坊だということを理解することです。今日のAIは、進化の観点から考えると、地球上の有機的生命の始まりから10年後のようなものです。40億年前に戻って、最初の生命形態の始まりに行ってみてください。そして、恐竜や人間を想像できるでしょうか？今、AIはちょうど始まったばかりですが、その進化は有機的進化よりもはるかに速いのです。何百万倍も速いのです。ですので、今日のAIがアメーバのようなものだとすれば、10年か20年以内にAIのティラノサウルス・レックスに遭遇するかもしれません。そして、それが何をすることができるのか、私たちには全く想像がつきません。
繰り返しますが、これらのAIに関する議論は、10年前には専門家の非常に小さなコミュニティ以外は誰も話していませんでした。過去10年間を考えて、10年後や20年後にどこにいるかを想像してみてください。創造性に関しては、私たちがすでに知っていることを考えると、AIが可能であることは疑いありません。おそらく異なる種類の創造性かもしれませんが、まさにそのために、本当に多くの分野でゲームチェンジャーになるでしょう。
AIの頭文字は人工知能を表すと人々は考えていますが、新しい形のAIには人工的なものは何もありません。それらは独自に発展しています。AIを異星知能と考えた方がいいでしょう。なぜなら、それは本当に異質な方法、私たちとは異なる方法で考え、創造するからです。これは金融にも当てはまります。金融商品を一種の芸術だと考えてください。債券や通貨、ビットコインのアイデアを最初に思いついた人は、非常に創造的で想像力豊かでした。ですので、この分野でもAIの創造性が見られ、人間が想像もしなかったような新しいタイプの金融商品が生み出されると思います。」
「私はこう言いたいですね。あなたが指摘した金融商品は、誰かのニーズを満たすために生まれました。そして、それは人間にとって非常に重要なことだと思います。私たちは自分たちのニーズが何で、それをどう満たしたいかを見つけるのが非常に得意です。時には、自分たちが満たしたかったニーズを知らなかったこともあります。スティーブ・ジョブズがiPhoneで探求したように。
しかし、私はあなたよりも楽観的です。そして、実際にそれらの機関にこだわりたいと思います。なぜなら、それらが私たちのAI開発を責任ある方法で組織化し、調整する最良の方法だと思うからです。誰もがその旅に参加するわけではありませんが、十分な人々が、十分な機関がその旅に参加すれば、私たちにはまだ良いチャンスがあると思います。私は楽観主義者であることが好きですからね。」
「では、聴衆からの質問を受け付けましょう。お名前を言ってから質問してください。新記録の数の質問があるようですね。左側の奥の紳士から始めましょう。」
「ありがとうございます、セシリア。私の名前はヒエンです。ハラリ教授にも感謝します。お話を聞けて本当に光栄です。私の質問は、最近の議論と同じ流れで、人間対AIについてです。人間はより知的で巧妙な形態ですよね。つまり、有機的な形態で、私たちは持続する方法を知っており、過去数年間気候危機を乗り越えてきました。今日の状況を見て、将来を見据えると、AIを孤立して見ることはできません。他の外部要因、特に気候、持続可能性の側面が関係してきます。AIは電力を消費し、電力は天然資源を消費しますが、それらは枯渇しつつあります。このような状況で、AIがどのように生き残るか、あるいはAIが人間が直面し、人間がまだ乗り越える能力を持っているような課題をどのように克服するかについて、あなたの見解をお聞かせください。」
「エネルギー消費がAI開発の足かせになるということですね。」
「はい、エネルギー消費は、私たちが能力を増やすにつれて増加します。より多くのエネルギーと電力を供給し始めると、環境や天然資源にマイナスの影響を与えるでしょう。どこかで限界に達するでしょう。人間は電気なしで生き残れますが、AIはそうではありません。それはちょっと極端な例かもしれませんが。」
「質問は理解しました。この点については、もう少し前向きなことを言えるかもしれません。私はAIに反対しているわけではありません。AIの開発を単に止めることはできないと思いますし、多くの前向きな可能性があると思います。前向きな可能性の一つは、気候危機やエネルギー危機に対処するのを助けることです。
世界中の現在の政治的、経済的状況を考えると、すべての経済成長を止めることで気候危機を解決することは不可能であり、望ましくないと思います。なぜなら、世界中に何十億人もの人々がいて、彼らの生活条件は大幅な改善を必要としているからです。もしインドやアフリカ、南米のすべての人が、現在の技術で、ヨーロッパやアメリカの平均的な人と同じ生活条件を享受したら、生態系は崩壊するでしょう。しかし一方で、インドやアフリカの人々に「あなたたちはヨーロッパ人が持っているものを享受できない」と言うこともできません。
そのため、より良い技術、よりエコフレンドリーな技術を開発する必要があります。そしてそれを速やかに行う必要があります。これは、AIが正しく使用されれば、確実に役立つことの一つです。

基本的な理解として、宇宙にはエネルギー不足はありません。私たちはただそれをどう利用し、最も環境に優しい方法でどう使用するかを知らないだけです。これは、AIが非常に役立つ可能性のある分野の一つだと思います。」

「ありがとうございます。こちら側で質問を受け付けましょう。そちらで選んでください。手を挙げないと機会を逃しますよ。女性の方、素晴らしいですね。」
「ありがとうございます。お会いできて光栄です。あなたの本は素晴らしいです。さて、GoogleのGeminiが起こりました。これは数ヶ月前のことです。多くの人が、Geminiを使用する個人が見る結果に、指を天秤にかけるような決定があったと主張するでしょう。つまり、結果がはるかにPCになるように。部屋の全員がこれに精通しているかどうかわかりませんが、「アメリカの建国者の写真を見せて」と入力すると、アフリカ系アメリカ人の女性が表示されるのです。
これが起こったばかりのとき、私はシリコンバレーにいて、そこの様々な人々と話をしていました。これはどこに向かうのか、なぜなら結局のところ、これらは情報を求め、アルゴリズムからフィードバックを得ている個人です。私と共有された自由主義的な見解の一つは、結局のところ個人は、AIが訓練されたものを見ることになるということです。これは人間のバイアスであり、これはほぼ強化ループのようになるでしょう。
そして、次の質問は、アメリカの南東部では特定の人種の人々をたくさん見るかもしれず、他の場所では違うかもしれない、ということです。これはどこに向かうのでしょうか？私はこの質問を追求し続けています。そして、あなたが言っていた信頼できる機関との関連性を見出そうとしています。なぜなら、私たちが恐れているような方法、つまり人間が互いに攻撃し合うような方法でこれが展開しないようにする方法を見出すのが難しいからです。」
「はい、歴史を通じて新しい情報技術が登場するたびに、このような議論や問題がありました。検閲について大きな議論があります。例えば、印刷機が発明されたとき、近代ヨーロッパの初期のベストセラーは科学書ではありませんでした。ガリレオの著作を読む人はほとんどいませんでした。ベストセラーは魔女狩りのマニュアル、つまり魔女を識別し殺害する方法についての本でした。非常に人気がありました。また、過激な宗教文学も人気がありました。
印刷機は、ある程度、科学革命の原因となりましたが、同時にヨーロッパの魔女狩り狂想曲の原因にもなりました。これは中世ではなく近代の現象でした。また、宗教戦争の原因にもなりました。そのため、どのような種類のものを印刷することが許されるかについて大きな問題がありました。そして今、私たちはAIがどのようなことを言うことが許されるかについて大きな問題を抱えています。
違いは、AIには主体性があるということです。印刷機とは違って、AIは自分で学習し、発展していきます。これらのAIが将来何を言うかを前もって決定しようとする試みは、最終的には失敗に終わるでしょう。なぜなら、彼らは学習し、発展しているからです。
これは民主主義にとって大きな問題です。独裁者にとってはさらに大きな問題です。

人々がしばしば見逃すのは、独裁者はこれらのAIを民主主義政府以上に恐れているということです。なぜなら、考えてみてください。独裁者にとって最も危険なものは何でしょうか？それは、独裁者がコントロールする方法を知らない、独裁者よりも強力な部下です。

独裁者は通常、恐怖によって部下や代理人をコントロールします。しかし、AIを恐れさせることはできません。チャットボットを考えてみてください。例えばロシアでは、人間は特定のことを言うのを恐れています。なぜなら、罰せられる可能性があるからです。しかし、チャットボットをグラグ（強制労働収容所）に送ることはできません。ですので、チャットボットが言うべきではないことを言い始めないようにするにはどうすればいいのでしょうか？
本質的に、これはあらゆる種類の人間の体制にとって新しい課題です。なぜなら、これは歴史上初めて、民主主義であれ独裁制であれ、体制が感情を持たず、恐れさせたり罰したりできない主体性を持つエージェントや存在をどのようにコントロールするかを考えなければならないからです。世界中のすべての政府にとって、この問題にどう対処するかは非常に興味深い課題になるでしょう。」
「間違いありませんね。この側でもう一つ質問を受け付けましょう。ヴィンセント、あなたが選んでください。あるいは、質問をまとめることができれば、調整してください。これがあなたの最後の質問になりますよ。」
「私の名前はファビオです。簡潔に質問します。あなたが言及した「お金は人々の間の信頼であり、目標はより多くの人々とより多くの信頼を持つこと」というのが気に入りました。その目標に到達するための最良の次の行動は何か、もう少し詳しく説明していただけますか？そして、付随的な質問として、これは国家の概念を乗り越えるチャンスかもしれませんか？」
「前の紳士、関連する質問がありますか？それとも全く別のものですか？」
「はい、あります。」
「では、どうぞ。」
「国家は、あなたの用語や考え方では「フィクション」になるでしょうね。関連して、人間の囲碁プレイヤーが操作できる空間は、その進化生物学によって制限されていますが、AIはそうではありません。人間として私たちが思いつくフィクションの構造も、私たちの進化生物学によって制限されていますが、AIはそうではありません。人間の繁栄を大きく超えるフィクションがAIによって生み出される可能性があるでしょうか？そして、もしそうであれば、人間の繁栄を最大化するために、私たちはロボットの支配者に降伏し、彼らにフィクションを決定させる道徳的義務があるのでしょうか？」
「国家の終わりと、ある意味で人間の終わりですね。短い答えは「ノー」です。AIを単に信頼するのは非常に危険です。はい、AIは全く新しい種類のフィクションを作り出すことができます。しかし、フィクションは再び役立つこともあれば、非常に危険なこともあります。
国家は良い例です。はい、国家は私たちが想像の中で作り出したものです。それらは私たちの集合的想像の中にのみ存在します。もし私たちがそれをうまく使用する方法を知らなければ、戦争や紛争につながるなど非常に危険になる可能性があります。しかし、これまでのところ、それらは人類の最高の発明の一つ、最高の創造物の一つでもあります。
なぜなら、国家は私たちが個人的に知っている、気にかけている直接の友人や家族の輪を超えて、何百万人もの見知らぬ人々のために何かをすることを可能にするからです。愛国心は、その最良の形では、国の反対側にいる見知らぬ人々が良い医療を受けられるように私が税金を払うことを意味します。これが愛国心です。
国家なしで私たちが何かユートピアに住むことになると想像する人々は、そうではありません。現在、私たちは単に部族的な混沌に分解し、直接の友人や家族のことだけを気にかけることになるでしょう。はい、私たちは国家同士が協力する方法を見つける必要がありますが、これが鍵です。国家を廃止することではありません。私たちはまだそこまで至っていません。歴史的に見て、問題は国家をどのように協力させるか、戦わせるのではなく、ということです。
ここでも、はい、私たちは新しい想像力豊かな創造物が必要です。金融の分野でも同様です。これは再び信頼を構築することに焦点を当てるべきです。有名な例を挙げると、ビットコインを歴史家として見たとき、私はそれが好きではありません。なぜなら、これは不信の上に構築された通貨だからです。ビットコインの中心的なアイデアは、基本的に電子的な金で、私たちは銀行や政府を信用しないので、彼らに好きなだけお金を作る能力を与えたくないというものです。だから、このビットコインを作ったのです。これは不信の通貨です。
私は、未来は電子マネーのものだと思います。しかし、過去数世紀で見てきたのは、実際には銀行や政府により多くのお金を作る能力を与えることが良いアイデアだということです。社会内でより多くの信頼を構築するためです。ですので、20年後や30年後にお金がどのようなものになるかはわかりませんが、それがより大きな信頼の通貨であり、不信の通貨ではないことを望んでいます。」
「わかりました。また、機関に未来があり、国家に未来があるということを聞いて安心しました。それは私にとって幸せな夢となるでしょう。そして、いつか将来、私たちがまだ肉体を持った状態で、アルゴリズムの形ではなく、あなたと再び話をすることを願っています。ハラリ教授、本当にありがとうございました。聴衆の皆さんが非常に満足していることがわかります。拍手をお願いします。」