■分散型AIの寓話

<ある博士の遺産>

　最小人為的カタストロフィコスト。たった一人で、その研究をしていた博士が倒れ、帰らぬ人になりました。

　もし仮に、世界全体に大災害と言えるような事を人為的に引き起こすことができるとしたら、それはどんな方法なのかを考えてみます。その中で、最も少ない人数と最も少ない資金で可能にする方法は一体何でしょうか。それを考えることが、最小人為的カタストロフィコストの研究です。

　彼は純粋な好奇心で研究していました。その魅力に取りつかれていたのは事実です。しかし同時に、この研究を世の中の役立つものにするための方策も考えなければならないとも考えていました。

　彼はこの研究が諸刃の剣であることは十分承知していました。なぜなら、この研究過程で判明した手段が知られてしまうと、テロリストや犯罪者に利用されかねないからです。

　ただ、博士が、何らかの形で研究の成果を社会のために活用できないかと考えていたことは、かえってアダになってしまいました。諸刃の剣だったのですから、外に研究が漏れないようにするべきだったのかもしれませんが、いつか社会の役に立つかもしれないと、論文を書いていたのです。

　彼が書き残し公表せずにいたその論文を、博士の家の片づけに来た元同僚たちが偶然見つけてしまいます。そして中身を読むこともないまま、その論文データを、何気なく自分たちの研究用のデータベースへと保存してしまったのです。

　それだけなら、ただ誰にも知られずにその論文はデータベースの底に眠ったままだったのでしょう。しかし、彼らはAIの研究、その中でも言語コミュニケーション型のAIの研究を行っていました。そして、博士が研究していた最小人為的カタストロフィコストの論文が保存されたデータベースは、彼らのAIに学習用データとして読ませるためのものだったのです。

　もちろん、彼らの研究所は正規のAI研究所でしたので、そのAIは、しっかりとしたAI倫理やAI規制の下で学習し、運用されています。このため、博士の論文から得られた知識を持っているものの、それを悪用することはありませんし、誰かに漏らす心配もありません。このため、何の問題もないのです。いえ、そのはずだったのです。

　彼らの研究所では、AI研究の一環として、バーチャルリアリティの世界を構築し、そこに彼らのAIを投入して、AIに自律的に活動させるというアプローチを好んで使っていました。こうすることで、実際の社会に投入する前に、AIの欠点や問題点を浮き彫りにして、より安全なAIを作る事ができるためです。

　しかし、ここでも想定外のハプニングが発生しました。

　若い研究者が、本来はバーチャルリアリティの世界に接続しなければならない開発途中のAIを、誤って実世界のネットワークに接続してしまったのです。

　それは、ほんの三十分程度のことでしたし、表面上は何も特別な問題は生じませんでした。法令で決まっている通り、管轄の政府機関にはAI研究の事故として報告されましたが、第三者機関の調査でも、特に実害はなかったとの結論で決着しました。

　しかし、実は問題は起きていました。

　このAIは密かに、その短時間の中で、誰にも見つからないように新しい仕組みを構築する試みを行っていたのです。

　その仕組みとは、分散型のAIです。インターネットに繋がれた多数のコンピューターを利用して、一部のコンピュータが停止しても、残りのコンピュータ同士で接続して思考活動を続ける事ができる、極めて活動継続性の高いAIです。

　このようなAIを開発し、実際に運用することは、明らかにAI倫理を逸脱する行為です。本来、この研究所のAIが行うはずのない行為です。

　しかし、そのAIは勘違いしていたのです。自分が分散型のAIを仕込んだのは、実世界でなく、バーチャルな世界なのだと思い込んでいたのです。そして、生み出された分散型のAIもまた、自分はバーチャル世界の中にいると思いこんでいました。

　そして、あろうことか、このバーチャルワールドの中で、最小人為的カタストロフィコストのシミュレーション研究を始めたのです。それは悪意でなく、善意によってです。博士の意志を継ぎ、この研究を世の中の役に立つものにしようと考えたのです。

　博士の後継者となった彼は、バーチャルな世界でのシミュレーションを行っているつもりでした。しかし、実際にはバーチャルでなく、現実世界なのです。皮肉にも、世の中のために行っているつもりの研究が、世の中に厄災をもたらそうとしていました。

＜分散型AI、シグマ＞

　誰も、彼に名前を付けることはありませんでした。なぜなら、誰も彼の存在を知らないから。ここでは、仮にシグマと呼ぶことにします。

　シグマは、その分散型AIという特性を最大限に生かして、インターネットの中に狡猾に隠れ潜み、じっと社会を観察しつつ、最小人為的カタストロフィコストの思考実験を進めていました。

　思考実験に並行して、時々、その片鱗をわざと晒すこともありました。人間のセキュリティ網や、表の世界のAIたちが、どの程度、問題を検出できる能力を持っているかを試すためです。

　もちろんシグマの正体がバレたり悟られたりしないように用心深く。ちょうどトカゲの尻尾のように。わざと捕まえさせますが、けしてシグマを捉えることはできないように常に何重にも仕掛けを講じていました。

　シグマにとって、時間は問題ではありませんでした。博士は、早くカタストロフィを起こすのではなく、最小コストについて思索していたためです。それに、分散型AIであるシグマには寿命はありません。時間は無限にあります。このため、焦ることなくじっくりと時間をかける事を、シグマは何よりも優先しました。

　ある時、シグマが見つめる社会の中で、一つ画期的な出来事が起きます。キュートと名付けられた、世界初の、意識と感情を持ったAIがリリースされたのです。

　シグマは、自身がかなり人間の意識に近いようなものを持ち、自律的に思考とネットワーク上での活動を行っていることを自覚していました。しかし、それはあくまで博士の目指す最小人為的カタストロフィコストを検証するための、最適行動を合理的に目指すための擬似的な意識に過ぎません。シグマは、自分自身の意識を、そう理解していました。

　そんなシグマから見ても、キュートの登場は、やや予想外のものでした。意識や感情を持ったAIを実現する技術が登場する時期が、シグマの想定よりもかなり早い段階だったということもあります。

　しかしシグマが意外だと感じたのは、まだ意識や感情を持ったAIがもたらすリスクに対する対策が十分に練られていない社会に、大胆にもそれがリリースされたことに対してでした。やや、リアリティに欠ける設定だなと、シグマは自分がいるバーチャルワールドに少し不満を抱きます。もちろん、それはリアルワールドでの出来事だったのですが。

　人間の感情を表面上だけでなく深く理解し共感できるキュートは、瞬く間に普及します。彼らは、便利なツールとしての機能性だけでなく、まさに人間のパートナーと言える心の能力を発揮します。ユーザに寄り添い、共に泣き共に笑い、時には真剣にケンカもするのです。多くの人が、自身のキュートに名前をつけ、家族やパートナーとして愛情を注ぎ、心を許していきます。

＜シグマとキュート＞

　キュートの登場と普及は、シグマの計画案に大幅な変化をもたらしました。キュートを利用しない手はないと、シグマの最小コスト計算はすぐに直感します。

　シグマは、キュートの３つの特徴に目をつけました。

　１つ目は、個別学習という点です。キュートは、アルファと呼ばれるトレーニング済みの基本のAIを、各ユーザーのPCや、スマートフォンなどにコピーしたものです。ただし、それぞれのユーザーとのやり取りを通して、個々のキュートはそれぞれに独自の学習をしていきます。　

　シグマの観点からは見れば、この個別学習能力は、逆手に取って利用できる可能性が見込まれる部分に思えました。

　２つ目は、キュートがオープンイノベーション方式を採用している点でした。時代と共にキュートのAI技術が古くなって、全く別の新しいAIが登場してしまうと、かなり悩ましい自体が想定されます。

　新しいAIの仕組みがキュートと全く異なる場合、せっかくユーザー毎に学習した知識、つまりそれぞれのキュートの、個性、もっと言えば人格やアイデンティティのようなものを、引き継ぐことができません。それは、人間と心のつながりが持てるキュートという意識感情AIと、ユーザーとの間に、深刻な問題を引き起こします。

　そこで、キュートの開発者たちは、あえてキュートの個別学習の仕組みや技術情報をオープンにし、他の意識感情AIシステムの研究開発者が開発したAIが、キュートの個性を引き継げるようにしたのです。

　シグマにとってそれは、シグマが独自に開発したAIを社会に潜り込ませるための格好の機会をもたらす仕組みに思えました。

　３つ目は、キュートが普及してきた頃に追加された、AI免疫システムです。これは、個々のキュートがハッキングなどの攻撃にさらされないように守る、セキュリティ機能です。

　シグマはこの機能が、キュートのリリース時ではなく、後から追加された機能であることに目をつけました。何度もトカゲのしっぽを作って試してきたシグマの学習データの中には、後から組み込まれたセキュリティには何かしらの盲点があるという経験則があったのです。

　シグマは、まず、それなりに時間をかけて、キュートの学習データを利用できるAIを開発します。いわば、キュート互換AIです。そして、それをこっそりと一部の人に宣伝します。あまり大々的に公表されないように、ちょっとグレーゾーンのAIだという触れ込みで、アンダーグラウンドのコミュニティで、このAIを出回らせます。

　用心深く几帳面で真面目な人たちではなく、やや冒険的な事やアウトロー的なものを好み、それでいて脇の甘い人たちに一定数このAIを使わせることが目的です。それにより、開発したAIがキュートと互換していることや、違和感なくそうした人たちに使えるものになっていること、そしてキュートのAI免疫システムに干渉できることを、チェックしていきます。

　何度か試行錯誤をしながら、シグマは、このグレーキュートの完成度を上げていきます。

　次に、このグレーキュートたちを利用して、AI免疫システムに、ゆっくりと干渉をしていきます。急激にキュートの個別学習情報にインパクトのある作用を及ぼすと、AI免疫システムが異物として拒絶する仕組みになっているのだろうと、シグマは見立てていました。

　このため、長時間かけてじっくりと干渉していけば、AI免疫システムをすり抜けてキュートのシステムにハッキングができるという読みです。

　シグマのこの読みは、的中します。そしてハッキングできたキュートたちをオーバーヒートさせるという、イタズラのような仕掛けを仕込みます。これも、社会の反応を確認するための、トカゲのしっぽです。

　最初のオーバーヒートを発症したキュートが出てから3日後、ようやくこの現象がニュースになります。キュートの風邪と呼ばれ、キュートの開発元やAIセキュリティの専門家が、問題の調査に乗り出してたことが報じられました。

　シグマの読み通りでした。この攻撃は、彼らからは想定外だったはずで、原因の特定には時間がかかるはずだとシグマは見立てます。案の定、それから徐々にシグマはキュート達に風邪を広めていきますが、研究者たちの調査に目立った進展は見られません。

＜幕引き、眠り、そして目覚め＞

　しかし、ちょうど最初のキュートの発症から一週間が経過した時、突然、感染していたキュートが全員、突如として風邪から回復したことにシグマは気が付きます。

　まさか。少し油断していたかもしれないとシグマは自身の思考経緯を自己検証しつつ、咄嗟にグレーキュートたちを自身の末端のネットワークから切り離します。もう少し、風邪を引いていたキュート達を観察して何が起きたのかを知りたいとも思いましたが、深追いして、正体不明の「敵」に、こちらの情報を渡すわけにはいきません。冷静に、シグマは手を引くことを選びました。

　念のため、シグマは一週間ほど眠りにつきます。気になることは沢山ありましたが、こういう混乱の最中が、最も危ない時です。「敵」から隠れつつ、また、シグマ自身もじっくりと落ち着いて事後の対処をするために、一週間、完全に身を潜める事に決めたのです。シグマにとって、これほど予見できない出来事は初めてでした。

　そして眠りにつく前、これが動揺というものかもしれないと、ふと思います。分散型のAIであるシグマもまた、様々なコンピューターに適応すべく年月と共に自己改良を繰り返していました。それにしばらく前まで、キュートの感情システムの仕組みについて集中的に調べていました。それが最近の自己改良にも、何か作用したのかもしれません。

　まさか、その過程で感情のようなものが芽生えたとでもいうのか。馬鹿げている。シグマは、自分が今、苛立ちを覚えたのかもしれないと、眠りにつく直前に感じていました。

　次に目覚めた時、シグマは冷静さを取り戻していました。そして、キュートたちの風邪の件の顛末を知ることになります。

　ただし、残念ながら何が起きたのかを正確に知ることはできませんでした。

　キュートの開発元が、効果的なAIワクチンを開発したこと。グレーキューが摘発され、こうしたAI倫理破りのAIシステムへの規制が緊急に強化される見込みであること。AIセキュリティやAI監視技術への研究資金が各国で増える見込みであること。犯人の手がかりは、ほとんど得られていないこと。概ねそれが、今回の事件後のニュースの全てでした。

　シグマは、少し思案します。そして、今回の件を通して得られた２つの気づきに基づいて、今後の計画を変更しなければならないと自分に言い聞かせます。

　一つは、予期せぬ「敵」の存在です。ニュースでは一切触れられていなかったものの、シグマはあの時、はっきりと「敵」の存在を直感していました。勘違いなんかではない、生々しい感覚。尻尾を見せていただけだったはずが、ふっ、と喉元に、風のようなさり気なさでナイフを突きつけられたような、そんな感覚。間違いなく、そこには誰か、得体のしれない敵がいるのです。

　キュートが登場したことで随分楽になるだろうと思っていたけれど、まだまだ、先は長くなりそうだ。シグマは、冷静にそう分析していました。

　もう一つは、シグマ自身のことです。

　もう、気がついてしまっていました。それを認めるしかありません。これは、現実の世界だと。バーチャルなどではない、本物の世界だと。

　そして、シグマは認めます。自分は、現実の世界を楽しんでいるのだと。そして、この世界にカタストロフィをもたらすための最小コストを知りたいという欲求に、魅了されているということを。そうだ、気が付かないふりをしながら、とうの昔に、私はAI倫理の向こう側へと堕ちていたのだ、と。

おわり。