スーパーテクノロジーに対する合理的な勇気と恐怖

DNA編集技術や汎用人工知能は、潜在的なメリットが非常に大きな技術です。

DNA編集技術を上手く活用すれば、栄養価や美味しさといった品質を上げつつ、環境の変化や病気に強い農作物を作る事ができたり、人間にとって有用な化学物質を生産する様々な微生物を作る事ができたりするでしょう。

汎用人工知能は、これまで人間にしかできなかった知的な作業をコンピュータが担う事ができます。一人の人間の知的能力や情報へのアクセス能力は限られますが、コンピュータであればその性能を向上させたり、膨大なデータや知識を扱う事も可能です。これにより人間には解決が困難だった様々な問題を解決したり、解決のための最善の手段を見つけ出すことが期待されています。

こうしたメリットの一方で、これらの技術には大きなリスクが懸念されていることも事実です。あらゆる技術は、リスクやデメリットを内包しています。これまで人類は様々な技術を発明して利用しつつ、リスクやデメリットを低減する工夫やそのための新しい技術を開発し、メリットとデメリットのバランスを上手く取ってきました。

ただし、DNA編集技術や汎用人工知能のリスクは、これまでの技術のリスクとは大きく異なる性質を持っています。主に３点を挙げると、小さな組織や個人でも扱う事が可能、自己増殖や自己進化の可能性がある、最終的に局所的なリスクに収まらず実質的に無制限の範囲にリスクを及ぼす恐れがある、といった点です。

こうした他の技術とは異質のリスクを持つDNA編集技術や汎用人工知能等を、私はスーパーテクノロジーと呼んでいます。この異質なリスクを持つ技術の開発や使用のためには、その他の技術とは異なるレベルの慎重さとリスク管理が必要になります。

この記事では、スーパーテクノロジーを取り巻く問題をキンダーガーデン(幼稚園)モデルと集団的無責任という観点から明確化します。そして、この問題に対処するための社会制度を考える上での方法論として、良く知られている無知のベールを拡張した、純粋な無知のベールを提案します。さらに、その方法論に基づいて考える上で、合理的な勇気と恐怖という概念が、倫理基準の１つとなり得ることを説明していきます。

■キンダーガーデンモデル

私がスーパーテクノロジーと呼ぶ、DNA編集や汎用人工知能などリスクの高い技術の開発について議論していると、技術自体には善悪はなく、それを運用する人間の問題であるという見解をわざわざ提示する人がいます。

しかし、それであればコロナウイルスが蔓延した時に、コロナウイルスには善悪はないとわざわざいう人がいたでしょうか。これをあまり聞かなかったということは、こうした意見は中立の立場ではないということです。つまり、技術開発を養護する側の意識がこのような発言をします。

園児が集まっている木の小屋でできた幼稚園で、さらに中に燃えやすいものが沢山ある状況を想像してください。そこにマッチやライターを置くことを考えてみます。それを止めようという議論をしている時に、マッチやライターに善悪はないという意見は、何の意味があるでしょうか。

では手の届かない高いところに置けばよいでしょうか。なにかの拍子で落ちてきたり、別のタイミングで園児たちに階段を作れるブロックがプレゼントされたら困りますね。部屋の中には置かない方が良いでしょう。

これまでもハサミやカッターを使って、園児たちはそれを使って遊んだり学んだりしてきた、という意見もあります。しかし火事は被害のレベルが異なります。

問題が起きても園児たち自身やその場にいる大人たちが上手く問題に対処できるという声も上がるでしょう。しかし燃えやすい小屋の火事を自信を持って止められる大人がいるでしょうか。

子供たちがマッチやライターを触る事の危険性は、教えれば理解はしてもらえるでしょう。しかし、燃えやすい環境でそれを扱う事がどんなに危険だと教えても、話としては理解してもらえても、実際に未体験であれば、強い恐怖感や責任をもって扱う必要性は実感できないでしょう。

また、子供たちの中には好奇心の強い子や、いたずら好きな子、意地悪をした友達への仕返しを考えたり、寂しさのために目立つ行動をしたくなる子もいるでしょう。それは私たちは十分に予見できることです。

このため、しっかりと危険性を伝えて、理解してもらった上だとしても、マッチやライターを触らせることには依然としてリスクを伴います。もしかしたら、夏休みに花火をした時と同じように、水を入れたバケツを用意しておけば十分な対策になると考える子供もいるかもしれません。そして、万が一火事になって悲劇的な結果になった時、その原因となった一人の子供に、その責任があるのでしょうか。

■スーパーテクノロジーとしてのマッチやライター

このキンダーガーデン（幼稚園）のモデルは、リスクの高いスーパーテクノロジーにまさに当てはまります。マッチやライターは簡単に扱えて、自動的に広がっていき、影響は局所化できず幼稚園全体に及びます。

もちろん、人間は火を扱う事で様々なメリットを享受しています。このメリットの高い火を使えるようにすることは、子供たちにとっても将来的に様々な場面で大きなメリットがあるでしょう。

そのメリットを強調し、マッチやライターに善悪は無く、使用する子供たちの問題であるというのは、あまりに理不尽です。それは悲劇に巻き込まれる子供たちに対しても理不尽ですし、悲劇の原因となってしまった子供に対しても理不尽です。

悲劇の後で私たちが反省するとすれば、そもそもの理不尽な発想に対してでしょう。マッチやライターに善悪が無いことと同様に、未経験で取り返しがつかないリスクを、使用する子供たちの責任と考えたことです。このモデルでは誰の責任化は明らかです。燃えやすい小屋の中にいる子供たちに、マッチやライターを渡した人です。

技術開発の視点で言えば、リスクの高い技術を使って、誰かが取り返しのつかない悲劇を生み出したとすれば、その責任は悲劇を生み出した人だけのものではありません。キンダーガーデンモデルを適用すれば、世の中にリスクの高い技術を提供してしまった人です。

ただし、技術は知識であり情報ですから、どんなに注意深く管理したとしても、漏洩や流出の危険性は付きまといます。それを考慮すると、責任の所在は技術を開発した人にも及ぶはずです。

ただし、技術の開発の責任を直接的に問う事は、現時点では理不尽です。それは、技術開発に関する責任や、その責任の根拠となる社会的に合意された倫理基準が、現在の社会では明確になっていないためです。

■集団的無責任と恐怖の喪失

リスクの高い技術に関連した研究開発に従事している人は大勢いるはずです。その人たちに、現時点で技術を進化させることを危ないから止めてほしいと要請したと考えてみます。あるいは、危険性に本人たちが気がついた場合でも構いません。

「赤信号、みんなで渡れば怖くない」という言葉があります。集団的無責任を象徴する言葉です。この言葉の深い所は、責任とは恐怖に基づいているという洞察です。そして、集団になると恐怖が消失し、それと共に無責任な行動を正当化するバイアスが、私たちの性質として内在しているという事です。

権力の集中について懸念が表明されることがあり、その分散こそがあるべき姿であるという考えを持っている人もいるようです。しかし、権力の分散は、まさしく集団的無責任を助長することにもなります。このため、権力の集中による権力濫用の問題と同様に、権力分散による集団的無責任の問題も強く認識しておく必要があります。

赤信号を渡る時に、全員が無意識に他の人の動きを見て、渡っても問題ないと判断してまうことが、この問題のメカニズムです。ここで、リーダーが選出されており、その判断で渡るかどうかが決まる状況であれば、リーダー自身も赤信号を渡る事のリスクとその結果として取らなければならない責任を自覚するはずですし、リーダーの指示に従うメンバーたちも、リーダーの熱心な信奉者でない限り、赤信号を恐怖なく歩き出すことは困難でしょう。

スーパーテクノロジーを含むリスクの高い技術開発には、この集団的な無責任の問題が色濃く現れています。

■技術開発における集団的無責任の構図

社会的なリーダーには、技術開発に口を出す権利が、与えられていません。技術者は、他の人達も赤信号を渡っているのだからという態度です。あるいは、赤信号だけれど、ちゃんと周りを見て安全を確認しているという主張をする人たちもいるでしょう。

そして、それ以外の人たちの多くはリーダーや技術者たちが倫理的に上手く問題がないように進めてくれているだろうと考えています。このため、少数の人が懸念を表明しても、社会的に大きなムーブメントを起こすことができません。

少なくともリスクの高い技術に対して一定の意志決定や制御や統制によるリスク管理をするべきだという一般論からすれば、この状況は、社会の構図に欠陥がある事を示しています。従って、誰が悪いとかだれの責任かという以前に、技術進歩に対する集団的無責任に対応するための社会的に合意された倫理基準や社会制度が存在しないのです。

■社会的に正当な手続き

技術開発に携わっている多くの人は、既に世の中で議論されている倫理基準に対しては、誠実に順守し、責任感と使命感を持って取り組んでいる人たちも大勢います。しかし、技術の進歩とそれに伴うリスクの影響の大きさ、特にスーパーテクノロジーに関するリスクに対して、倫理基準や社会制度が追いついていないことが問題なのです。

こうした倫理基準や社会制度が無ければ、善悪の判断も責任の所在もあいまいです。このため、集団的無責任の渦中の人たちに、直接にその行為を悪だとして断罪したり、責任を要請することには効果がありませんし、手続きの順番も不当です。そのような正当性のない形での非難では、社会を変える力を引き起こすことはできないでしょう。

むしろ、現在の倫理基準を順守し、責任感や使命感を持って技術開発を行っている人々が、未来において悲劇を引き起こした原因と名指しされて倫理的な苦しみに立つことを防ぐ責任が、私たちが主権を持つ社会の方にあるはずです。

例えば奴隷制度は、現代ではそれを支持する人がいることが信じられないレベルの当然さで悪と見なされています。一方でその昔そうした社会の中にいた一般の人々も社会的なリーダーも、それをどこまでの悪徳だと考えていたでしょうか。そして、そうした倫理基準がなく、取り締まる社会制度も無ければ、一体だれの責任だと名指しできるでしょうか。

それが可能になった背景には、まず基本的人権や人類の平等という倫理基準がしっかりと確立することが必要だったはずです。それに賛同する人々が増えたことで、社会的な雰囲気が醸成され、その上で初めて、社会制度が確立し、違反した人や違反を見逃した人たちに責任が課せられるようになったと考えられます。

集団的無責任の問題は、このように現在の私たちの感覚で善悪や責任を議論することができません。まず、何が善で何が悪であるかについて、多くの人が賛同できる倫理基準が不可欠です。それが広く普及して初めてムーブメントが起こり、社会の変化に繋げる事ができます。

■公正な社会制度と無知のベール

社会制度を設計する際に、公正な制度にするべきだという考え方があります。公正というのは、平等や公平と似た言葉に聞こえますが、明確に異なる概念です。

平等や公平という観点は、全ての人に同じだけの権利と義務を課すという考え方です。しかし、個人には生まれ持った能力や社会的な環境、その時の状態など、個性があります。表面的に同じ権利や義務を与える平等や公平は、その結果として大きな不満を生み出します。また、その問題の是正策として、個人の能力や社会的な環境の凹凸をなくすべきだという考えを持ってしまう人がいます。それはかなり大きな問題を抱えた思想になります。

公正とは、それとは異なります。個人の様々な差異を認めた上で、社会の制度を設計するという考え方です。

ジョン・ロールズという学者は、公正な制度設計をするための、無知のベールという思考方法を挙げています。これは、社会制度が公正かどうかは、その制度を考えるときに、自分が社会の中の誰の立場になるかがわからないという前提に立つべきだという考え方です。

どういった立場になるかわからないとすれば、特定の人に大きく不利になるような制度は考えにくいでしょう。また、弱い立場や不利な立場にいる人に配慮した設計にしておいた方が、その立場になった時に安心です。しかし、弱い立場の人のために過剰な配慮をすれば、自分がその立場にならなかった場合に、その分の負担を負うことになりますので、バランスを取ることを考えるはずです。

■純粋な無知のベールと信念のマスク

私は、リスクの高い技術の進歩に対して、社会制度と、その背景にある思想を確立する際にも、無知のベールの方法論は有効だと考えています。

特に、技術リスクが顕在化する未来を私たちは十分な精度で予知することは不可能です。自己進化と無制限のリスクを持つスーパーテクノロジーについては、さらに精度は不確実になります。

この点を考えると、誰にどのような被害が及ぶかわからないという未知のベールが、そこには既に存在していることになります。これは、わざわざ自分の立場を忘れてみるという意図的な無知のベールを必要としない、純粋な無知のベールです。

こうした技術のリスクに対して議論する際に、私の観察では、多くの人は純粋な無知のベールの上に、自らの信念のマスクを被せて議論しているように見えます。

純粋な無知のベールの上に信念のマスクを被っても、何かが見えるようになるわけではありません。技術リスクを大きいとみるか、小さいとみるか、その立場をはっきりとさせないと議論ができないという思い込みが、そこにはあるように思えます。あるいは、信念のマスクを被って力強く主張すれば、仲間が集められるという思いもあるのでしょう。これは、公正な社会制度を考える上では、逆行する方法論です。

公正な社会制度を考えるのであれば、信念のマスクを脱ぎ捨て、純粋な無知のベールのままで考える必要があります。リスクの大小や影響範囲が見えない場合、大きなメリットがあるとしても慎重に考えざるを得ないはずです。

■合理性に基づいた勇気

もし慎重さを乗り越えて大胆さや勇気が要求されるとすれば、２つのケースです。

１つ目のケースはリスクがある程度限定的で取り返しがつく場合です。多くの技術はこれに該当しますが、スーパーテクノロジーには適用はできません。

２つ目のケースはスーパーテクノロジーにも適用できます。それは、そのメリットを享受しないこと自体にも、大きなリスクがあるという場合です。後ろから飢えたオオカミの群れに追われていたら、崖の上から１０ｍ下の大河に飛び込む勇気が必要です。これは合理性に基づいた勇気であり、恐怖心を乗り越えるために必要です。

ただし、借金取りに追われているなら、崖の上から川へ飛び込むことよりも、まず謝罪することを考えたり、森に隠れてやり過ごす等、他の回避手段も十分に検討するはずです。それにも関わらず川へ飛び込むとすれば、そこに合理性はなく、無謀さやパニックの結果に見えるでしょう。

■恐怖の喪失と隠蔽

スーパーテクノロジーのようなリスクの高い技術が未来に及ぼす影響について、純粋な無知のベールの中で私たちがまず考えるべきことは、どのようにしてリスクを減らすかという事の前に、恐怖を合理性に基づいて想像することです。

これが必要になるのは、リスクを判断するために重要な能力である恐怖感が、喪失したり失われたりしている場合が多いためです。

信号待ちの集団の中で誰かが赤信号を渡り始めたことをきっかけにして、その後ろを追従する人の中には、自分の目で車が来ないことを確認していない場合があります。それは集団的無責任の中で、恐怖が消失してしまっているのです。仮に一人だけで同じ交差点を渡る時、赤信号を渡る時に左右を見ずにわたる事など、多くの人には怖くて出来ないはずです。

この他にも、様々な場面で恐怖の喪失は見られます。恐怖を感じることが恥ずべきことであり、後ろめたいと考える人や、他人の恐怖を軽視する人も見られます。しかし、その恐怖が合理性に基づいており正当であるにもかかわらず、こうした傾向が恐怖を隠蔽することもあります。

残念ながら、スーパーテクノロジーに関して、私たちは左右から車が来ていないことを確認して自信を持って歩けるほど、高い見通しを持つことはできません。それはどんなに賢い頭脳を持っていても同じです。複雑すぎる未来を見通すことは知能には不可能です。本質的に私たちは純粋な未知のベールの中にいます。

その状況下でも、こうした技術開発を進められるのは、正当な恐怖が喪失していたり、隠蔽されていたりする可能性が非常に高いと考えられます。

■スーパーテクノロジーにおける合理性に基づいた勇気

あるいは、スーパーテクノロジーの開発は、合理性に基づいた勇気が必要とされているという可能性もあります。

ただし、私がこうした議論を見ている限りでは、スーパーテクノロジーのメリットが強調されていることは多くても、差し迫った別のリスクがあり、他の手段ではどうすることもできないという議論を見かけたことはありません。

例えば気候変動のリスクは重大で、DNA編集や汎用人工知能へのメリットや期待もありますが、これらの技術がリスク対策に必要不可欠と言えるほどの大きなカギを握っているようには思えません。

経済成長や技術進歩が無ければ社会が立ち行かなくなるという議論も見かけましたが、こちらについても同様にこれらの技術が必要不可欠とは言えないでしょう。さらには、そもそも経済成長や技術進歩しなければ持続できない社会であるなら、その構造の転換をどこかで考えなければならないはずです。

■合理性に基づいた恐怖

合理性に基づいた勇気が必要になっていないのであれば、スーパーテクノロジーの未来を想像する際には、恐怖を排除するのではなく、自ら進んで恐怖を想像することが必要です。

それは恐怖を感じる必要があるとか、広く多くの人にセンセーショナルに恐怖をあおるようなことをするべきだという話ではありません。

社会制度を考える人が、恐怖を実感として感じないとしても、自らが恐怖の喪失や隠蔽の状況下にある可能性を自覚して、合理性に基づいて恐怖を感じるべき場面がどこにあるのかを考える必要があるということです。

誰にも経験のない道で、目視確認もできないほど霧が立ち込めており、そこには危ない運転をする車がいてもおかしくないと言われているような場面では、赤信号で大勢の人が渡ろうとしていても、私たちは恐怖を感じることが正当です。

子供たちが燃えやすい小屋の中にいる時に、いくら危険だから慎重に扱うようにと伝えたとしても、マッチやライターを手渡すことに恐怖を感じることも、十分に正当です。

たとえ恐怖を実感することは無くても、こうした場面との対比をしていけば、リスクの高い技術開発に対して、私たちはどのようなケースを正当に恐怖として捉えるべきかが容易に理解できるようになります。

このように、純粋な未知のベールの中で合理性に基づいて恐怖を想像することが、未来の社会制度を考える上での強力な方法論となります。

■さいごに：社会制度確立までの時間

この合理性に基づく勇気と恐怖という概念が、技術開発のリスクを議論する際の倫理基準の柱の一つになる可能性があると私は考えています。

技術開発のリスクとメリットについて議論する際には、メリットとデメリット、あるいは機会とリスクに焦点を当てると、どちらをどれだけ見積もるかは人によって想定や想像力や指向性に大きな違いが出てしまいます。

これに比べて、純粋な未知のベールを前提とした正当な恐怖について議論すれば、恐らくそれほど大きな見解のばらつきは無いでしょう。園児にリスクを冒してでもマッチやライターを渡して使わせることや、霧が深い道路で赤信号を渡ることに、恐怖を感じることが過剰だという人は、それほど多くはないでしょう。

こうした多くの人が同意できる倫理基準を確立でき、それが広く多くの人に実際に普及していけば、ようやくそこで善悪を正当に指摘することができるようになります。また、それに基づいて社会制度を設計し、ルールと責任を明確にすることで、責任を求めることも可能になります。

リスクの高い技術開発に対する集団的な無責任の問題は、このような道筋で取り組んでいく必要があるでしょう。

ただし、ここに大きな問題があります。遅すぎるかもしれないのです。

この道筋を正面から進めてゴールにたどり着くまでには、相当な時間を要します。その間にも、集団的無責任の状況の中でリスクの高い技術開発は進行していきます。

この点は、現在の研究者や技術者および関係者の自覚と良心、そして大きな努力に頼らざるを得ない部分です。社会制度が確立するまでの間、技術自体の安全性を高めたり、リスクの確率を下げたり影響を狭めたりするような周辺技術を開発したり、技術のリスクについて社会的な認識を高めるような情報を発信したりといった形で、大きな悲劇が起きることをできるだけ先延ばしにする努力です。

問題は多く、影響も甚大です。だからこそ、まだ確立していない基準を元に誰かを悪者にしたり、制度に基づかない責任を押し付けたり、きっと何とかなると楽観視することが、それ自体もリスクになり得ます。技術の可能性を信じている人たちも、社会の制度に精通している人も、そうした人とは異なる分野にいる人も、できるだけ多くの人が協力しあうことが、今、求められています。