Making Sense - The light of the Mind 5

A Conversation with David Chalmers

H：AIについてはどう思いますか。ニック・ボストロムの「スーパーインテリジェンス: 超絶ＡＩと人類の命運（https://amzn.to/3XKWb3w）」は読みましたよね。私が初めてＡＩが意味するものについて興味を抱き始めて一年くらいになるのですが、このニックの本がきっかけでした。私はＡＩの安全性に関して心配しているんです。彼の言う「コントロール・プロブレム」です。あなたはどう思いますか。

Ｃ：すごく興味を持っています。心配する理由も確かにありますよね。インディアナ大学ではＡＩ研究室で博士課程を勉強しました。「ゲーデル、エッシャー、バッハ―あるいは不思議の環（https://amzn.to/3wGze5m）」書いたダグラス・ホフスタッター（ダグラス・ホフスタッター - Wikipedia）が私の卒論のアドバイザーでした。彼は、今もそうですが、当時からＡＩの研究をしていました。私は以前からＡＩ全般のプロジェクトに関しては好意的でしたが、もし機械が私たちと同じくらいの知性を獲得したとき、いったい何が起こるのかという懸念は真剣に受け止めたほうが良いと考えています。統計学者のI. J. グッド（I. J. Good - Wikipedia）は知能の暴走につながるかもしれないと警鐘を鳴らしました。
6年ほど前になりますが、この話題について記事を書いたんです。「The Singularity: A Philosophical Analysis （singularity.pdf (consc.net)）」という記事で、グッドの考えを哲学的な主張に発展させたものです。機械が私たちよりも少しだけ賢くなると、機械を設計するのが私たちよりも少しだけ上手になります。つまりその結果、彼らよりも少しだけ賢い機械をデザインすることになるのです。そして、そのプロセスはどんどん繰り返されます。そうするとすぐに私たちよりもずっと賢い機械が生まれることになります。そうなると色々な影響が考えられますね。このようなＡＩが実現しないためには、ある種の厳格な条件が必要です。ひとつここで言っておきたいのは、意識があるのかどうかという議論はあまり重要ではなくなります。ゾンビだろうがなんだろうが、ここで問題なのはこの機械がどのように行動するかですから。

H：最近、この話題についてあるコンピューター科学者の話を聞きました。彼はこの件に関して、ロバート・ノジック（ロバート・ノージック - Wikipedia）の「utility-monster thought experiment」主張に沿った内容の話をしていました。まるで神のような超優秀なＡＩを作ったとすると、私たちよりも意識が高く、より道徳的なシステムを作るということになると述べています。私たちは神を創造するのです。つまり、私たち人類の功利を無限大に上回るような功利をもつユーティリティ・モンスターを創造してしまうかも知れないのです。そして、皮肉なことにそれが人類のもっとも輝かしい功績となるのです。彼らが我々の利益を踏みにじり、我々を絶滅させるかもしれないということは、彼らにとって大した問題ではないのです。それは、私たちが蟻をを踏みにじってしまうことがあるのと同じです。
しかし、このコンピューター科学者が懸念していたのは、私たち自身よりもはるかに知的なシステムを構築し、それが問題解決にはるかに優れた能力を発揮する可能性があり、しかもその機械は自分よりも優れた機械を構築することができる。それなのに、この機械になるとはどういうことか、ということは理解できないという可能性です。それは、ある意味で、倫理的に言って最悪のシナリオです。私たちは、私たちの利益に沿わないという理由だけで、私たちを破滅させるものを作ってしまったのです。それは、ただの盲目の装置です。そして、このような機械に支配されてしまうと、世界は闇に包まれてしまうでしょう。

C：それは困りますね。私たちは後継者を作り、「これこそ進化の輝かしい未来だ」と思っています。「しかし、もし、それが、意識を踏みつぶす一歩となり、突然、世界がその意味と価値を失ってしまったら残念ですよね。
しかし、考えられるシナリオは二つあります。一つ目は、その時が訪れたら、私たちはもはや存在していないというシナリオです。二つ目は、私たちはまだ存在しているというシナリオです。一つ目では、私たちは私たちとは似ても似つかないモノを創造して、それが私たちにとって代わります。二つ目では、私たち自身を改良していきます。私たち自身をアップロードするという可能性もあると思います。その時には、私たち自身が超知的生命体になるのです。少なくとも、未来の超知的生命体は、私たちが私たちであると認識できる、私たちが変化した生命体になります。もしかしたら、私たち自身を別のハードウェアに移植するのかもしれない。その方法なら、未来の超知的生命体と今の私たちの距離感をぐっと縮めることができる。しかも、その超知的生命体はもしかしたら意識を持つ事ができるかもしれない。
果たして、今の人間よりも高速に動作する機械に私たち自身をアップロードしたとき、私たちの意識は失われてしまうのでしょうか。ちょっと考えさせられますよね。こうすればうまくいくのではないかなと思っているひとつの方法が、「徐々にやってみる」という方法です。一つずつ神経細胞をシリコンのチップに置き換えていき、その間は目を覚ましておくという方法です。もし、アップロードされる側の機械に意識がないんじゃないかと心配だったら、ゆっくり自分をアップロードして、自分の意識を注意深く観察し、途中で何が起こるか見てみるといいでしょう。

H：それは興味深いですね。そうすれば、デリック・パーフィットの「テレトランスポーター」の思考実験の問題を解決できると思いますか。通常の「アップロードできる」という考え方は、私たちが神経の暗号を解読し、まるでマトリックスやアマゾンのクラウドのような、より耐久性のある基盤に、すべての人間の心をアップロードすることができるようになるということですよね。それはまるで「チャーマーズさん、おめでとうございます！あなたの心は問題なくバックアップされました。もうあなたの肉体は必要ありませんよ！」ということです。でも、パーフィットによれば、それってあなたがコピーされて、コピーされた本体が殺されるのと何が違うのでしょうか、ということですね。
今あなたが説明してくれたのはこういうことですね。機能的な神経細胞を一つずつクラウドに移行させることで、徐々に心を統合していく。そして、そのプロセスのどの時点であれ、頭がボーっとして心配になったら止めることができる。これは、私たちであることがどういうことか、とういことと、他の新たな基盤に存在するということがどういうことか、という橋渡しする考え方ですね。私たちが無意識の情報処理システムで、コピーが終わったら殺されてしまうような存在ではないということです。

C：アップロードすることに関しては懸念する点が二つあります。一つは、アップロードされたもう一人の私には意識があるのか。しっかりと稼働してるのかどうか。そして二つ目は、それは本当に私なのかということです。原理的には、「意識はあるが、私ではなくて単なる私の複製に過ぎない」と考えることもできます。まるで、隣の部屋に私の双子を作るように。
この問題のうちの一つは意識の哲学的な問題に相当します。そして、もう一つはパーフィットのテレトランスポーターの思考実験における個人の人格に関する哲学的な問題に相当します。しかし、徐々にアップロードするということは、両方の悩みを負うことになります。もし、私の複製を作ったとしたら、それが「誰か」であると考えたくなりますが、「私」ではないのです。でも、それがずっと私の脳で、古い神経細胞が破壊されてシリコンチップに置き換えられ、私にずっと意識があるなら、意識の流れが続いているとしたら、この新しい存在が私ではないとは考えにくいですよね。
意識はその過程で徐々に薄れていき、もう一方の端には、普通に反応するけれども、意識もなく、私でもない機能的な複製が残るという考え方もできるかもしれません。
もしこの技術がうまくいくとして、またシミュレーションが十分に質が高いとするならば、もう一方の端でシミュレーションがどういう反応をするかがわかっているとします。もし、それが現在の私たちの良くできたシミュレーションがだとしたら、彼らはこう言うでしょう。「私には意識がありますよ。これは僕ですよ。」なぜなら、私はそう言うでしょうから。もし、これがゾンビを生み出すと心配するのであれば、それはもうどうしようもないことですね。でも、もし何人か実践した人がいたら、おそらく多くの人は安心すると思いますよ。

H：でも、もし万が一の場合のために私たちの体を残すという安全…、というかそれが安全だとして、その方法で行ったとしても、それでも結局パーフィットの指摘するジレンマに陥るわけですよね。人間の情報を何か他の媒体に転送するというのはまだ良いと思うのですが、心を転送して、つまりその人をコピーして、元々の存在を破壊してしまうというのは殺人と同じですよね。
もし、あなたが先ほど説明してくれたように、ゆっくりと、しかも気に入らなかったらもとに戻せるという方法で行って、その人のすべてが完全にサーバーに転送されて、元々の人の中には何も残っていないという状態であれば、サーバーの中の人は元の人と同一人物と言えますよね。でも、もしそうでなくて、元々の人はサーバーの外に相変わらず存在していたとして、あなたのコピーは問題なくできましたよ、と伝えたられたら、その人は迫りくる自分の死についてどう思うでしょうか。コピーされたそれに意識があろうがなかろうが、それは元々の人とは別人ですよね。

C：最初は虫とかネズミとか試すんでしょうね。そして人間の第一号はボランティアでしょう。最初はバックアップを取って行うんだろうと思います。まずは脳をスキャンして、オリジナルの脳は残しておく。そして、シミュレーションのコピーを作って、それからシミュレーションを稼働させる。
もしシミュレーションがうまく稼働しているなら、この二人は同じ反応を示すはずです。もちろんそれは人間ですし、話もします。意識もあるでしょう。でも、元々の人とは違う人間です。元々の人と会話をすることもできるでしょうし。双子のようなものですよね。もし、そういう形でこのテクノロジーが導入されるのであれば、コピーのほうは意識はあるけれども、元々の人とは全くの別人ですという解釈をするのかも知れない。
社会学的にも興味深い疑問があります。例えば、脳の一部分をシリコンの部品でアップグレードする人が出てくるかもしれません。「まったく問題ないね。ちゃんと自分だという意識もある。」ということで、更にアップグレードを追加する。そして、最終的にはすべてがシリコン部品に置き換えられる。でも、ちゃんとあなたのままでいられる。そうすると、哲学的、社会学的な疑問がわいてきます。それは、単なるコピーの存在と、徐々にコピーした場合の存在を区別することが正当化されるでしょうか、という疑問です。世の中に二つのパターンのシリコン部品でできた人が存在することになるのです。ひとつは単なるコピーの存在で、法的にも倫理的にも無視しても構わない存在です。一方で、元々の人と同一と見なされる存在は、コピーと比較して社会的には高いところに位置するでしょう。

H：もし、単純に心を転送して保存するだけで意識を持った自分のコピーを創造することができるのだとしたら、自分にはそのコピーを削除する権利があるのでしょうか。もし削除したら殺人を犯していることになるのでしょうか。もしそのコピーが自分と同じように意識を持っていて、自分の記憶や将来への希望を持っているとしたら、そのコピーを削除するのは殺人と同じだと思んです。

C：おそらく、そのコピーが稼働しているかどうかで変わるんではないでしょうか。もしそれがディスクに保存された単なる記録で、まだ意識を持っていない状態で、これから稼働するのを待機しているという状態であるなら削除しても良いと思います。でも、それが意識を持って自分の意志で行動して、自分の思考を抱き始めたその瞬間に、それを削除することは意識のある生物を殺すことになるでしょう。そのコピーは道徳的な配慮をされる存在になるべきなんです。

H：それでは、単に私たちの心を補強したり、破損した脳の一部を直したりするといった場合はどうでしょう。これだったらいかにして管理をするのかという課題を解決できると考える人が多くいます。つまり、私たちがこの新しい心の大脳辺縁系になるのです。

C：私たちの価値観も重要な役割を果たすことになりますね。この機械の価値観を私たちが監督するという意味で。

H：そうですね。もしこれを達成できるのだとしたら、脳を科学的に完全に理解することができたということになりますね。私たちは、まるで自分の一部が拡張したかのように自分自身を補強することができる。そしてもっと多くの心を獲得することができて、新しく獲得した大きな脳で自分の心の風景を探索することができる。そんなところまで脳のコードを解読できたということになります。でも、ＡＩを創造してこのような脳科学における飛躍的な進歩を遂げるのはとても困難で、単にＡＩを創造するだけのほうが簡単な気がします。より簡単な道を選ぶという誘惑は抗しがたいですよね。なぜなら、もし誰かがこのようなＡＩを創造することができた暁には、とてつもない金額の富が手に入るでしょうから。ですから、私たちが私たちの脳をＡＩに繋げて彼らの行動を有機的に抑えるということが本当にできるのかわからない状況では、おそらくまずは超知的なＡＩが登場するでしょう。

C：どちらが先に起こるかということに関しては様々な議論を耳にしました。ＡＩを創造するというプロジェクトは、科学や工学技術からの制約が多くありません。反対に、脳は私たちが現在使用しているシステムを司っています。もし、脳の活動をいかにマッピングするかという研究が進めば、数十年後には脳のどの部分がどのように働いているのかというマッピングが完成するでしょう。それぞれの脳神経のつながりや、個々の脳神経がいかに働いているのかもわかるかも知れません。いつの日か、その全てをコンピューターに保存してシミュレーションをする時が訪れます。
もちろん、中間地点もあり得るわけで、実は今がその地点なのです。線虫は302個の神経細胞を持っていますが、その神経細胞間の接続をすべてマッピングできています。それでも、まだシミュレーションすることができていません。なぜなら、それぞれの神経細胞がどのように作用するのかという原則が解明できていないからです。でも、例えば30年くらい経てば、もしかしたらそのメカニズムや関係を理解することができて、脳をスキャンして稼働させることができるかもしれない。しかも、新しいＡＩをデザインするより早くできるかもしれない。
そのどちらが先に訪れるかということがその後の展開に大きく影響します。個人的には人間の脳に基づいたＡＩが先に訪れることを願いますね。だってそのほうが人間にとって友好的ですよね。そして、その時に私自身がまだ生きていることを願います。そうしたら間違いなく自分をアップロードするでしょうね。

Ｈ：もしそうなったら、元々のデビッドにいっぱい奢りますよ。