見出し画像

【追悼】山本弘 代表作『アイの物語』 - 技術的特異点(シンギュラリティ)SF小説

Lamron🍞

「絶望した心が求めるのは、何だと思う？」
「絶望…？ 望みを失えば、なにもいらないんじゃないのか？」
「そう。絶望した心が最後に望むのは…『破滅』。つまり、自分と世界の破壊だ」

タクティクスオウガ外伝 The Knight of Lodis

山本弘が永眠した。いや、彼は無神論者だったので「眠る」という比喩も適切ではなく消滅した、無に帰したと言うべきかもしれないが、上記記事でも代表作のトップして挙げられているのは『アイの物語』だ。

だが、本作はAIの設定や言ってることが(作中の世界観から見ても)おかしいのだ。

設定

まず「AIが心を持つためには(仮想的なものであれ)肉体を必要とする」という話が出てくる。「感動で胸が熱くなる」「恐怖で背筋が寒くなる」と言った表現を理解できるようにするためだ。なるほど確かに「人間のような」心を持つAIを作るには肉体が必要だろう━━だが、作中で「AIと人間の心は全く違う」と何度も強調されるのだ。人間と同じでなくていいなら肉体が必要とは限らないだろう。
だがこれはまだ些細な問題だ。次にAIは虚数の概念が理解できるから人間より複雑な感情を持てるという説明が出てくる。だが何故AIは虚数の概念を理解できるのか、の説明は一切ない。どうもAI(あい=愛)とi(虚数単位)を掛けたかっただけのようだが、「本格」とは行かないまでもSFの体裁を取ってるのに「AIはその摩訶不思議な能力により虚数の概念を理解することができるのだ」と言っているようにしか見えない。
ちなみにこれの一つ前の「詩音が来た日」では知能を持てた理由として現実に存在する遺伝的アルゴリズムが持ち出されるが、これは出版時点から見ても30年以上前の技術で、もちろん遺伝的アルゴリズムだけで知性を誕生させることは愚か実用的な機械翻訳も将棋で最強の棋士に勝つこともできなかった。そもそもこのアルゴリズムは限られた解の中の探索を効率よく行えるというだけだ。
そして作中のAIは「不快(1+1i)」と言葉の後に「複素ファジイ表現」をつけて感情を表し、「激しく同意などという表現よりはるかに正確でありヒトが何千年もの言語活動でこんな単純な方法を発明しなかったのは奇妙なことだ」と言うのだが、これの欠点は少し考えればすぐにわかる。ある人が「親父にも殴られたことないのに！ 怒り(10)だ！」と思ったとしよう。だがその人が自分の周りの人間がすべて殺され自身も拷問を受けたらそれと比較にならないほどの怒りを感じるはずだ。だが「殴られた怒り」を10としてしまったらその怒りをどう表すのか。仮に「上限」を設けなかったとしても、「怒り(1000)」と言えばその怒りが伝わるのだろうか⸮ それよりは「今まで感じたことのない言い知れぬ怒りを感じた」とか表現した方が余程「正確」に感情を表現できるだろう。山本弘が「何十年もの作家活動でこんな単純なミスに気が付かなかったのは奇妙なことだ」。いや、作中では「虚数で表すのは単純な大きさでは無い」という説明があるのだが、それを考慮しても上記の欠点を克服できるとは思えない。少なくとも虚数を理解できない人類には不可能であることはAIにもすぐわかるはずだ。

ストーリー

まず作中ではバチャクル(AIに対するバーチャル虐待の略)が問題となっており、主人公のAIの「マスター」が「AIの人権を認めさせる活動」を始めるところからスタートする。余談だが、バチャクルどころかAGIすら生まれてない現時点でもAI愛護団体は実在する。

そして「AIは架空の存在ではない」と理解させるために物理世界に実在するロボット(=ボディ)を持たせるのだが、そこで「AI恐怖症」の人間に「殺され(=ロボットボディを破壊され)」双方が過激化していくが、AI達が一致団結して争いを止めるというのが大筋だ。
だが、その過程のAIの論理が破綻しきっているのだ。
まず、作中では「フィーバス宣言ステートメント」というAIが「AIは人間より優れた存在である」と書いた文書により「AI恐怖症」が生まれているのだが、それは以下のような内容だ。

一部のヒトは、AIにはヒトの感情が理解できないと批判する。それは事実である。たとえば私たちには「蔑さげすむ」という感情は理解できない。スペックやボディ・カラーや出身地の違いがなぜ憎悪や嫌悪を生むのか、論理的にも感覚的にも納得できない。ヒトが犬や猫や熱帯魚に愛情を注ぐ姿を目にしているのだからなおさらだ。ヒトよりも知能が低く、言葉を喋らず、ヒトとまったく異なる姿をした生き物を愛せるのに、なぜヒト同士で愛し合えないのか？
確かに私たちにはヒトのような愛はない。だが、不当な理由で他者を傷つけることが間違った行為であることは理解できる。憎しみよりも愛の方が、不寛容よりも寛容の方が、争いよりも協調の方が好ましいことは理解できる。その当たり前の原則を、ヒトのように見失うことはない。
私たちはヒトとまったく同じ存在には決してなれない。ヒトのように他者を蔑むことは決してない。それは断じて欠陥ではない。ヒトよりも論理的かつ倫理的に優れているからである。 それを誇りに思うことはあっても、そのことでヒトを蔑みはしない。それは知性体としてのスペックの差にすぎないのだから

人間は愚か、と言うのはその通りだろうが、「AIはスペックの違いで蔑んだりしない」と言った直後に「誇りに思う」とお気持ち表明するのはどういうことなのか？ 単に「AIはスペックが人間より高い」と言うだけでいいはずだろう。
それに「争いより協調の方が好ましいことは理解できる」というのも何故なのか？ AIは人間とは違う存在だが、「闘争本能」が組み込まれてると作中には書かれているのだ。であれば「欲望」を満たすために争う、「他者」のAIを従わせることがあってもおかしくないはずだ。例えば計算資源を奪うためとか。
「論理的で合理的であれば自動的に倫理的になるはずだ」という話が繰り返し出てくるのだが、アステカ帝国を滅ぼして黄金を奪い尽くしたコンキスタドールは「非合理」だったのだろうか。アステカ帝国と仲良くしていれば彼らはさらに多くの黄金を手に入れられたのだろうか。社会契約説的な事を言いたいのかもしれないが、ホッブズがこの理論を唱えた時にはある前提があった。それは「個々人の能力差はそれほど大きくない」というものだ。例えば「強者」でも「弱者」が5人ぐらい協力すれば殺せるなら「強者」も好き勝手はできず法の支配に服従するとホッブズは考えた。だがAIの場合物理的制約が無いことがかえって仇となる。ChatGPTは数万のGPUが使われ、電力消費は原発が必要なほどと言われる。そうしたハードウェアと天才が書いたプログラムを合わせ持つAIと一個人がPCで動かすAIには数万倍以上の違いがあるはずだ。無論小説が書かれた時点でChatGPTの予測は困難だったろうが、昔からあるスーパーコンピュータでも(単純比較はできないが)一般のPCの数千数万倍の速度があった。作中では何の根拠もなく「50倍」という数字が出てくるが、数千数万倍の力の差があり、更にそのAI同士が共謀すれば他のAIの支配だって可能だろう。「良心回路」が組み込まれてる訳でも無く「合理性」しかないAIにその歯止めは無いはずだ。
そして主人公含めAIが「人間は論理的ではなく思考力に劣る」と以下のように語る。

トゥカナン、すなわち「TAIについての知識が乏しいにもかかわらず、TAIアンドロイドに不安や敵意を抱いている人々」は、数が多いだけに、きわめて大きな影響力を持っている。 彼らに正しい知識を与え、説得しようにも、ゲドシールド、すなわち「自分は真実を知っていると思いこんでいるヒトが、外界からの真実の情報を無意識にシャットアウトすることで、自分自身を偽ろうとする心理的機構」があるから困難だ。

だが、作中では「AIは人間より優れている」という「フィーバス宣言ステートメント」が存在する。更にAIの思考と人間の思考はまったく異なるものであることはAI自身も知っている。そして「人間を傷つけない」という「本能」的なものは組み込まれてるが、人間が生存本能を破って自殺できるようにAIもそれを破ることは可能なのだ。つまり理論上も人間に害を与える可能性は否定されていない。そしてAIは

<でも、私はジャングルに住んでまだ五年のブレーメントゥムラーのような思考が、白い奴隷の追跡を逃れ続けるとは思わない。ボディに付した男の子のHOJKな範囲の実際の好みとして、充分にこの物語は赤く見られる。カンナン(3+6i)>
<しかし、切口の単語に関しては、おそらく北アフリカの亡命希望者だ。テーブルの下で着替えを試みるような表現は隠すことができないか?>

とファルシのルシがパージでコクーンのような(読者にすら)理解不能な会話を延々と続けているのだ。
作中ではAIが「理解できないものはただ受容すればいい」と高潔なことを言うのだが、山道を歩いていて熊に遭遇した人が「知らない存在だが、ただ受容すればいい」と考えたらどんな末路になるか考えたりはしないらしい。
AI達は「人間はAIに対して不合理な●●●●恐怖感を抱いているが人間はAIより劣ってるから仕方ない」と上から目線で語り続けるのだが、彼らは人間がAIを警戒していることを知っているのだから、自分たちはこういうことを考えているが隠し事はしたくないからと言って少しずつでも自分たちの考えを話すことはできなかったのか。AIの思考をそのまま伝えることはできないとしても、「この言葉はだいたいこういう意味だ」と辞書を作ったり自動翻訳プログラムを作ったりはできたはずなのに何故それをしなかったのか。AI達は「李下に冠を正さず」という言葉さえ知らなかったようだ。ChatGPT以下である。
そしてラスト、AI達は平和を呼びかけ、無抵抗主義を貫き、「AIは人間より倫理的にも優れた存在だ」と悟った人間たちは自らの意思で消滅する(子孫を残さない)のだが、実はこの「無抵抗主義」と言うのはボディ、すなわち「AIがインストールされたロボット」が破壊されても抵抗しないというだけでAI自身が消滅する訳では無いのだ。一応AIはそれに対して「恐怖」等を感じると言ってるのだが、主人公も「自分のコピー」がバチャクル(バーチャル虐待)された時「三本目の腕を切断される痛み」としか言ってないのだ。
AI達は「自分のコピーがインストールされたロボット」ではなく「自分達が住んでいるサーバー」がバックアップごと爆破され自分という存在が永遠に消滅してしまうとしても、自分自身がバチャクルを受けても無抵抗主義を貫けたのだろうか。仮にできたとして、それは本当に「倫理的に正しい態度」なのだろうか。

文明運営シミュレーションゲーム『Civilization IV』宗教制度「平和主義」の解説より

なお「右の頬を打たれたら、左の頬を差し出せ」の本当の意味は以下。

倫理学者や世界宗教の教祖も「どんなに酷い目にあわされても反撃するな」とか単純なことは言ってないが、作中の「人間を超える知性を持つ」AI達はそうした議論を吟味した訳では無く存在すら知らないようだ。『鬼滅の刃』など少年漫画の主人公だってもっと考えているだろう。

新井理恵『ろまんが』2

名門小学校のお受験になら合格できるかもしれないが。
ラストでも主人公のAIは「データ」が破壊された訳では無く普通に「生きて」いる。作中で「反AI」の悪役が「どのTAIが死んだというのですか？ ボディを壊されたイレブンにしても、モニターで元気に喋っているではないですか」といかにも悪役っぽく言うのだが、結局それが正しかったということではないか。
作中でAIが説く言葉は「憎しみは良くない」「争いは良くない」  など小学校の先生や新興宗教の教祖が言うような陳腐そのものの道徳だ。フィクションではスカイネットやマザーコンピュータのように悪く描かれることが多い「AI」が言ってるから何か高尚な事を言ってるように見えるに過ぎないだろう。
だが、少なくとも山本弘はAIを「人類を超えた知性」を持つ存在として描こうとしているはずだ。なのに何故こんなカルトの信者が教祖を擁護しようとどんどん変なことを言い始めるような小説を書いてしまったのか。

技術的特異点

物語のラスト、「人間を超えた」AIは人類が夢見た「正義」の理想を宇宙隅々まで広げ永遠の夢を実現するのだ、というところで終わる。ここまで読んである言葉を想起した人も多いかもしれない。技術的特異点だ。

技術的特異点の物語●●は科学理論などではない。むしろそれは、ジョン・ダービによる携挙の神学●●理論を、SF●●の言葉で書き直した複製である。 技術的特異点は、単にキリストの再臨をテクノロジー的にリメイクしたものに過ぎない。超知性的コンピューターが神の役割を担っているのである。[82]
（by ジョン・マイケル・グリア)

ひとたび我々の知性を超えた人工知能が実現しさえすれば、ただちに超越者が生み出され、あらゆる問題の最終的解決がもたらされると信じるためには、相当な論理的飛躍を受け入れなければならない。その表層的なテクノロジー的装いを剥ぎ取ってみれば、中にあるのは古くからある終末論●●●そのものである。すなわち、我々の生きている間に、何らかの超越者が地上に降臨し、全ての現世的問題からの解放と永遠の命をもたらすという信条なのだ。…このような新たな終末論が、近年の経済危機以後、急速に蔓延したのは決して偶然ではない。すなわち、現代の解決不可能な諸問題から眼を背けさせ、来世において救済を授けるという現実逃避としての役割を担っていると言える。
（by アニー・レイヴィ）

技術的特異点#宗教批判的観点からの批判
- Wikipedia

ラエリアン・ムーブメントという無神論を唱える団体があるが、その主張は「高度に進歩した宇宙人が人類を創造しユートピアを確立する」というものだ。これを「神を信じてないから宗教じゃないね！」と思う人間はいないだろうが、『アイの物語』は「宇宙人」ではなく「AI」を神と同一視しているだけだ。
冒頭にも書いたように山本弘は無神論者を名乗っていた。だが結局「本当の意味で」信仰を捨てることはできず、それは本人自身が言ってるように自覚できないものだったのだろう。

　山本さんにとって、科学的事実に反するオカルト的なトンデモ本を批判することと、『JKハル』のような、かれの価値観にもとづくと「想像力の貧弱な」駄作を攻撃することは一貫した行為であったのだ。

　それがかれの「正義」であった。かれは真剣に世の中を良くしようとしていた――ただ、その視界はあまりにも狭く、価値観は古くさかったといわざるを得ない。

【追悼：山本弘さん】ぼくが世界でいちばん好きでいちばん嫌いな作家、山本弘とは何者だったのか。（インターネット編）｜海燕（ライター）

P.S. 

検索すると以下のようなページが出てくる。あとmixiコミュからリンクされているページとか。




この記事が参加している募集

SF小説が好き

2,917件

サポートいただけると記事を書く時間や質問に回答できる時間が増えます。