人工知能のサイドリスク：人為的カタストロフィの最小コスト問題

人工知能技術が明かに大きな進歩をしています。技術進歩には懸念や不安が付き物ですが、これまではリスクを抱えながらも、それに個別に対処しながら恩恵を受けてきました。この成功体験は、私たちに科学技術の進展に対する自信と正当性を与えてきました。

しかし、このまま科学技術の進歩が進んだとして、私たちは対応し続けられるのかという疑問があります。個別の技術やリスクに対する対応は、実際に試してみないと分からないという面があります。一方で、より大きな視点で科学技術の進歩を俯瞰した時、それを私たち個人や社会が無限に許容することはできそうにありません。

この記事では、人間の能力の限界と、リスクに対する社会のキャパシティの観点から、科学技術の進歩には限界が存在することを明らかにしていきます。

人工知能技術の進化は、人工知能自体が直接の脅威となる可能性があるだけでなく、様々な分野の科学技術の進歩を加速させることで社会のリスクキャパシティをより短期間で溢れさせてしまう性質があります。このため、科学技術の進歩は、より差し迫った問題となっています。

■知性限界と道徳限界

経済学や社会学では、個人は自分の利益を最大化するために合理的な行動を取るものとしてモデル化して、社会全体の分析を行う場合があります。

合理的な行動を取るためには、どの選択肢が自分の利益を最大化するかを予測できる必要があります。

つまり、あまりに複雑で選択の結果が予測できない場合には主観的には合理的であったとしても客観的には合理的ではない選択肢を選ぶことがあるという事です。

分析する際には共通的な判断能力を持っているという簡易的なモデル化をすると思いますが、現実の能力には個人差があります。

複雑さの程度や能力の個人差は、現実の社会には知性限界があることを意味しています。

また、人間の行動には、良心によるものや、社会化教育やモラルの意識付けによる道徳性に根ざしたものもあります。

また、自発的な道徳性によるものだけでなく、罰則やインセンティブにより道徳に合致する方向に誘導されている場合もあるでしょう。

一方で、問題が複雑過ぎると、主観的には道徳的だったり罰則を回避できたりすると判断した行為が、客観的には非道徳的である場合もあります。また、こうした判断能力や道心には個人差があります。

従って知性と同じように、道徳限界が存在することになります。

■限界へ向き合う必要性

教育の充実や倫理的な思想の深化や啓蒙により、時代と共にある程度はこの限界の範囲は広がる可能性があります。しかし、時代と共に新記録が更新されていくとしても、人間の100m走の記録が大幅に短縮されることはないように、知性限界や道徳限界も極端に広がることは期待できません。

また、私たちは知性や道徳の個人差をできるだけ広く受け入れる社会を目指してきました。それが基本的人権の思想です。犯罪性や反社会的な意図がない限り、能力だけを見た差別や選民のようなことが肯定されることがないようにしなければなりません。

このため、私たちは社会の知性や道徳の限界を前提として物事を考えなければなりません。つまり、社会には必ず、客観的には非合理や不道徳な行動を取る人たちがいるという事を前提とするこという事です。

また、複雑すぎる合理性や道徳性を、社会の多くの人に期待することは難しいということです。

■知性と道徳の限界から見る経済制度

資本主義経済が社会主義経済よりも成功を収めることができた理由は、知性限界と道徳限界の観点から説明できるでしょう。

社会主義経済が機能するための条件は、知性限界と道徳限界を超えていたのです。一方で、資本主義は道徳に依存せずに機能するしくみであり、合理的な判断に高い知性は必要とせずシンプルです。これが資本主義を成功に導いたのだと考えられます。

■平均限界と末端限界

知性と道徳の限界は、社会の平均的な能力の人々の限界と、能力的なハンデがある人たちの限界とに整理して考える必要があります。前者を平均限界、後者を末端限界と呼ぶことにします。

例えば、資本主義と社会主義の成否は、平均限界を基準に考えるべきものです。なぜなら、大勢の人の行動が経済に大きな影響を与えるためです。

一方で、モラル違反に伴う問題や、道徳的な判断の過ちによる犯罪について考える場合は、末端限界に目を向ける必要があるでしょう。たとえ知的能力が高くても、道徳に関して末端付近の能力しかなければ、犯罪になるような選択肢を選ぶ誘惑に駆られるかもしれません。

■自己責任と社会責任

こうした犯罪やモラル違反となる行動を選んだとしても、自己責任であると考えることはできるでしょう。

しかし、その犯罪やモラル違反の被害者にとっては、その行動を抑止できなかった社会側にも一定の責任があるように思えるでしょう。この視点に立つと、社会は犯罪やモラル違反の被害を小さくすることに一定の責任を負っていると考える必要があることが分かります。

社会の制度や仕組みを考える際に、この視点を持たなければ、ルールを決めてそれを逸脱した人を罰するということを重視する社会設計となってしまうでしょう。知性と道徳の平均限界以内のルールであり、かつルール違反が大きな被害を生まなければ、社会はそれほど悪い状態にはならないかもしれません。

しかし、ルールを守る事が平均限界を超えていれば、犯罪やモラル違反が蔓延しますし、それに伴う罰則により多くの人が悪影響を受ける社会となります。

また、末端限界を大きく超えたルールであれば、一部の人にとってはルールを守る事が困難であり、その人たちは犯罪やモラル違反に至ってしまいます。その犯罪やモラル違反の被害の影響と、その加害者を罰することの影響との総和が、社会が引き受けなければならない悪影響の大きさとなります。

新しい制度や仕組みを社会に取り入れる際に、そのメリットの大きさだけでなく、知性限界やモラル限界を超えた部分によって生じるこうした悪影響の大きさを加味して引き受けることが、社会の責任です。

■末端限界を超えた悪影響

新しい制度や仕組みの採用を考える際、私たちは平均限界を意識するでしょう。多くの人に正統な判断が難しい仕組みであったり、遵守が困難なルールが必要であれば、その制度や仕組みがうまく機能しないことは明らかです。

加えて、見落としがちな視点は、末端限界と、それを超える部分の悪影響です。

末端限界を超える部分の悪影響は２つの観点から考える必要があります。一つはメリットを越えているかどうかという観点です。悪影響がメリットよりも大きいのであれば、その制度や仕組みを導入する合理性はないでしょう。

もう一つの視点は、悪影響が社会のキャパシティを越えているかどうかという観点です。メリットが大きく悪影響を上回っているとしても、社会的に許容できないほどの悪影響があるのであれば、やはりその制度や仕組みを導入することはできません。

■人為的カタストロフィの最小コスト

社会のキャパシティを越える悪影響を人為的に引き起こすことを、人為的カタストロフィと私は呼んでいます。例えば核戦争や現在の社会の維持を困難にするほどの環境破壊などが代表例です。

人為的カタストロフィの実現には、大きな労力や資金が必要になります。しかし、一方で科学技術が進歩すると、人為的カタストロフィの種類が増えていき、その中には他のものに比べて少ない労力や資金で実現できるものも見つかるでしょう。こうした労力や資金をコストとして捉えると、人為的カタストロフィに必要な最小コストは、技術進歩に伴って小さくなっていく傾向にあります。

バイオテクノロジーが進歩していけば、人為的なパンデミックの懸念が高まります。人工知能技術の進歩は、人間の知能を越えるAGIや人類全体の知能を越えるASIの登場を示唆しており、人間が自分たちよりも賢い人工知能に支配されるのではないかという懸念も抱かれています。

これらの懸念されている事態も、人為的カタストロフィであり、かつその最小コストは核戦争や環境破壊に比べて大幅に小さなものになるでしょう。

もちろん、これらの技術を悪用しないようにルールや規制がかけられるはずですが、それは通常、平均限界を超えない範囲で設定されるでしょう。しかし、末端限界を超えないようにこれらの技術の運用を行う事は、非常に難しいでしょう。

例えば、とても優秀な頭脳を持っているものの、道徳的な意識が低いタイプの個人は少なくありません。また、悲しい出来事や苦しい状況に追い込まれて、自分の利益のための合理的な判断ができなくなることも人間にはあります。

通常の犯罪やモラル違反であれば、社会が被害を補償し、加害者を罰すれば済むかもしれません。しかし、そうした人が結託して人為的カタストロフィを引き起こした場合、社会はその被害を補償することはできない上に、加害者を罰したとしても取り返しはつきません。

人為的カタストロフィの最小コストが小さくなればなるほど、このリスクは高まります。知性と道徳の末端限界と、人為的カタストロフィの最小コストというフレームワークを認識すると、科学技術の進歩は、どこかの時点で社会キャパシティを越えてしまうというジレンマを抱えている事に気がつきます。

■ジレンマへの対処の困難性

自由な技術開発に基づく技術進歩を前提とする限り、人為的カタストロフィの最小コストは時間と共に低下します。その一方で、知性や道徳の末端限界はほとんど変化させることができないため、社会キャパシティを越える人為的カタストロフィの発生は避けられないという結論になります。

このジレンマについては、あまり議論されないため、対策の困難性を理解することが難しいかもしれません。

この問題に対して、一般的な対処法として、倫理や道徳教育の強化、技術悪用に対抗するための安全技術開発、技術開発や利用の規制、技術開発のオープン性と責任の強化、といった対策を考える人もいるかもしれません。しかし、技術リスクに対応するためのこれらの一般論は、ここで議論しているジレンマには効果があまりありません。

倫理や道徳教育の強化は、道徳性の平均限界を多少高めることに役立つかもしれませんが、その効果はかなり限定的です。また、末端限界を高めることへの貢献はさらに少ないと考えられます。

技術悪用に対抗するための安全技術開発は有効な手段に思えるかもしれませんが、通常、何かを破壊したり攻撃したりするために技術を応用することの方が、それを回避したり防御したりするよりもはるかに容易です。そのため社会的な資源を安全技術開発に大量に投入する必要がありますし、それによって十分に安全が確保できるレベルを達成できるかは不透明です。さらに、その開発に時間を掛けている間にも、自由な技術開発により技術が進歩して新しいタイプの脅威が増えていくのであれば、安全技術が常に技術悪用の進歩のペースに追いつき続けていくことができると考えるのは楽観的過ぎるでしょう。

技術開発や利用の規制は、知性と道徳の平均限界付近にいる人たちには有効なアプローチです。しかし、科学技術の応用に対する知性が高いものの、道徳的には末端限界近くにいる人に悪用されることを想定した場合、単なる規制では効果がありません。アンダーグラウンドで行われる開発まで含めた徹底した技術開発の取締りが必要になります。

技術開発のオープン性と責任の強化も、知性と道徳の平均限界付近にいる人たちには有効なアプローチですが、道徳的には末端限界近くにいる人たちを念頭に置くと、意味がないどころか逆効果です。技術をオープンにしてしまえば、悪用の機会を高めてしまいます。

このように、末端限界について念頭に置くと、一般的な対策では大きな効果を期待することができません。そして、自由な技術開発に基づく技術進歩を前提としている限り、社会キャパシティを越える人為的カタストロフィの発生は避けられないという結論になります。したがって、社会キャパシティを越える人為的カタストロフィへの対応として考えなければならないのは、自由な技術進歩を前提としない社会の在り方と、その実現方法という事になります。

■人工知能のサイドリスク

人工知能の技術は、先ほども挙げたように、それ自体が人為的カタストロフィが懸念される技術です。しかし、もし人工知能自体を上手くコントロールする方法が見つかり、直接的に人為的カタストロフィの原因になる事を回避できたとしても、人工知能はもう一つのリスクの側面を持っています。

それは、人工知能が、様々な分野の技術進歩を加速させるという性質を持っているためです。人工知能の技術が進歩すれば、これまで人間の研究者や技術者が行っていた知的作業を人工知能が代替することができるようになります。今まで通り自由な技術開発の下で技術進歩が進むのであれば、人為的カタストロフィの最小コストは、今までよりもはるかに短期間で減少していくことになります。

これが、私が2024年1月現在において、この記事の議論を行っている理由です。人工知能技術の発達がもっと遅ければ、人為的カタストロフィの最小コストと知性や道徳の末端限界の関係を整理して、未来の社会の在り方をどうするべきかという議論を、私たちはもっと時間をかけてじっくりと進められたでしょう。

しかし、人工知能技術の発展の速度は思っていたよりも早いようです。このため、恐らくこの議論に十分な時間を掛けるよりも先に、人工知能の能力により加速された人為的カタストロフィの最小コストの低下が、私たちの社会に眼に見える形のリスクを突き付けてくる恐れがあります。それは恐らく多くの人が注意を向けている人工知能自体ではなく、別の思わぬ技術分野で顕在化してくるだろうと私は予想しています。

このため、私たちは自由な技術進歩による問題について、速やかに議論を進める必要があると考えています。それは、個々の技術の具体的なリスクと、その具体的なリスクに対応するための個々の対策の検討というアプローチでは不十分です。未知の技術リスクが突然顕在化するという状況への対処や、そもそもそうした対処が不可能になるような事態を避けるための、技術進歩に対する包括的な対策についての検討です。

■さいごに

この議論の出発点は、人間の能力の限界と、社会のキャパシティの上限を前提とし、時代と共にそれを強く認識せざるを得なくなるという部分にあります。この前提を理解すると、これまでの私たちの常識や理想としていた価値観の全てを持続することができないというジレンマがあります。少なくとも、社会の安全と自由な技術進歩は、両立しません。

このジレンマを前にすると、多くの人は一種の絶望や諦めの気持ちが強くなるかもしれません。どうせ何もできないし、もしかすると上手く問題が回避されたり、心配しているようなことが起きなかったりするかもしれないと楽観的に考えざるを得ないと思うかもしれません。あるいは、誰かが解決するのだろうとか、最悪、人類はそうやって自滅するのだと割り切る人もいるかもしれません。

しかし、どんなに困難に思えても、この問題への理解を深め、対応できる道を探し続けることは、続けていく必要があるはずです。真剣に突き詰めていけば、自由な技術開発を制限する決断をしたり、先端的な科学技術資料の公開制限や技術開発に必要な資材の管理を厳しくしたりなど、これまで私たちが当然視してきた価値観の一部を手放すことも選択肢として考えざるを得ないでしょう。

また、より深く突き詰めていくと、個人の自由といった価値観と社会キャパシティとのトレードオフや、民主主義とエリートによる管理との力関係など、人権や社会運営の根本的な部分にも立ち返る必要が出てくるでしょう。

この議論において大きな問題は、このような現在の社会の枠組みや価値感の見直しを必要とするような課題に対して、責任者や担当者が存在していないという点です。

多くの問題は、どこかに責任者や専門家がいて、その人たちが解決策を練って対処します。

しかし、既存の社会の枠組みや価値観の変化は、社会の内側に責任を負う人や組織を作ることができません。また、技術、道徳、社会制度、政治体制を含む多面的なアプローチができる専門家もいないはずです。

このため、誰にでもこの議論の担い手になる可能性があります。自分は専門家でも責任者でもないからと言って全員が議論を避けていれば、この議論が進まないままでリスクだけが高まっていきます。