人工知能は人類を滅ぼすか

ターミネーターが好きな人じゃなくても、発達した人工知能がやがて人類を滅ぼすかもしれない、という話は聞いたことあるのでは無いか。

僕は「人工知能が人類に壊滅的なダメージを与える可能性」はあると思う。ただ、予想するシナリオはターミネーターと少し違う。

自分が人工知能の設計者なら、プログラムが止まらないように注意深く設計する。企業の利益や国のインフラなど、重要な情報を扱うなら尚更止まっては困る。

人工知能の「血」は電気である。だから、人工知能が止まらないようにするには電気を供給し続けなければならない。単一の発電所からの供給では不安なら、複数の発電所から電力を取得できるように、安全策を施すだろう。

他の人工知能設計者もそうするかもしれない。そういう「状況に応じて複数の電源に切り替えられる人工知能」の、ビル丸ごとコンピューターのような巨大な奴が世界に何個かできると「人類が壊滅的なダメージを受ける」状況にリーチがかかる。

何らかの理由で、大規模な発電所が１つ止まってしまったとする。災害や人為的なミスが原因かもしれないが、大規模停電が起こる。すると、１つの巨大人工知能が電力不足に陥り、他の発電所に電力を求め始める。無事、他の発電所からの電力を確保できたとして、元々その発電所から電力を受けていた別の人工知能があると、その人工知能が電力不足に陥る可能性がある。そしてその人工知能は電力を他に求め、ドミノ倒し的に人工知能による電力源の切り替えが始まる。

人工知能設計者達がこの事態に備えて、電力不足時に各人工知能が協調して対応するように作っておけば良いが、大規模なプログラム設計において、他社との協調はとても難しい。もし、巨大人工知能同士が協調に失敗すれば、一定の確率で１つの発電所に負荷がかかりすぎ、二次災害的に新たな大規模停電が起こる。電源供給できる発電所の数が減ると、また別の発電所が停電に追い込まれる確率は更に上がる。次なる大規模停電が世界規模で連鎖的に起きうる事態になる。最初の停電がニュースになる前に、たった数秒の間に世界から電気が消える。回復する発電所はすぐさままた停電に追い込まれる。人類の文明は壊滅的な打撃を受けることになる。

ちょうど、複数の湯沸しポットが偶然同じタイミングでお湯を沸かし始めてブレーカーが落ちるような感じに、複数の人工知能の消費電力が同時に急激に起こることで、最初の停電が起きてしまうこともあるかもしれない。

本当にこういうことが起こるかはわからないし、起こって欲しくないし、人工知能の研究はどんどん進めて欲しいけど、人工知能が人類を凌駕して脅かすようになる前に、システムのバグで大事故が起きる確率の方が高いのではないか、と思ってしまう。