海外ハードSF作家がどのように生成AIを批判しているか

「人間絵師ですが生成AIには感謝しています」というふざけたタイトルから変えたので序盤の構成が変だと思います。後半は現状のタイトル通り、SF作家の発言を紹介しています。

　自分が絵師であり、生成AIに感謝しているのは本当です。どう感謝しているかというと、絵師でなおかつSF小説界隈に顔を出している者からすると、絵とSFという結びつきづらかった二者を結びつけてくれたからです。
　SF小説を書いて公募に受かろうと思った場合、（ハード）SF小説を書くには研究者やテック系の人が有利で、つまりそういう人たちは元になるネタを自分で持っているわけです。しかし自分には絵しかないので、絵を元ネタにお話を書こうと発想したことはあったものの、どうにも絵とSFは結びつきませんでした。しかしそこにAIアートが登場してくれたわけです。ありがたいことです。
　今書いているこの記事自体も、生成AIがもたらしてくれた、AIと絵について語る創作物の一つであると言えます。

　感謝している要素はそれだけで、残りの部分は害悪でしかないということですね。生成AIはイラスト業界に損害しかもたらしませんでした。翻訳・声優業界に対しても同じでしょう。（ネット上に無防備に置いてあった絵という学習素材を入手しやすく、フリーランスなので無抵抗だったことで、生成AIにとって最適な実装実験となったAIアートが、学習元ジャンルに対してここまで搾取的・敵対的な影響をもたらしたのに、他の分野では嘘のように上手くいくということがありえるのでしょうか？）　

　さて、なぜこのような被害が生じたかというと、これは言葉の使い方が擬人的すぎるからです。テッド・チャンが言うには、AIアートはAIでもなくアートでもないのです。世界最高のSF作家と日本でも評されることの多いテッド・チャンは、2023年にタイム誌の「AI分野で最も影響力のある100人」に選出されています。チャンは以前から、生成AIを知能とは認めてきませんでした。
（同様に世界最高のハードSF作家と呼ばれるグレッグ・イーガンも、公に発言はしていませんが、Xでは生成AI批判のリポストが多いです。実際に、LLMが物事を〝理解〟しないことを自作品から引用して主張しました）

ＳＦ小説家テッド・チャン「ＡＩに本当に知能がある？…そうは思わない」
https://news.yahoo.co.jp/articles/1347cce66467d03b4ebe56d52dbf8f7ae3f85ebb

－来月12日のハンギョレ人とデジタルフォーラムでどのようなことを語るのか。事前に紹介を。
「私は、AIには本当に知能があるわけではなく、巨大言語モデルが言語を使用しているとも言えないと主張する予定だ。また、生成AIは芸術作品を作る道具ではないということも語ろうと思っている」

　チャンに言わせれば、LLMが出力するのは言語ですらないのです。そうなると生成物がアートでないことも必然です。
　つい先月に韓国で行われた〝人とデジタルフォーラム〟でのスピーチ全文はここにあります。（未翻訳）
https://www.hani.co.kr/arti/economy/it/1147113.html

ChatGPTは何も感じないし、意図もないので、言葉を使うとは言えません。意味のある口頭での発話のためには、主観的な感情、感情的な状態を伝える意図がなければなりません。現在、大規模言語モデルが行っているのは、単なる模倣にすぎません。それは、蝶が羽に大きな黒い斑点を作って、鳥をだまして大きな目の捕食者だと思わせるようなものです。蝶は、そんな黒い点がついていても鳥に食べられてしまうことがありますが、その黒い点で鳥を騙そうとしているのは明らかです。

　出力された結果だけではなく、背後にある原理と目的（意図）に注目するのがチャンの考え方の特筆されるべき部分です。これはチューリングテストとは逆の注目すべきAI観です。
　これをAIアートにも応用すべきだと私は思いますが、その前にチャンのアートについての発言をみましょう。

視覚芸術について話しましょう。画家が絵を描くとき、多くの選択肢が伴いますが、AIが生成する画像はほとんどが一般的なものです。これは、すべての選択が人ではなくプログラムによって行われるためです。選択は、インターネット上のデータを平均化することによって行われます。
（中略）
Photoshopは非常に使いづらく、良い作品を作るには何千回もセットアップする必要があります。数学的には、Photoshopのユーザーインターフェイスは非常に高レベルの空間です。しかし、画像生成AIプログラムはかなり低次元の空間です。Photoshopを使っているときは、作りたい画像を細かくコントロールできますが、ジェネレーティブAIプログラムを使っているときは、大まかにしかコントロールできません。
（中略）
この場合、これらの生成AIツールを使用するアーティストもアーティストと呼ぶことができますか?これらのツールを使って小説を書く場合も考えてみましょう。例えば、数回のセッションで100,000語の文章を書いてもらい、100,000字の文章を作成できるとします。そんなツールはこれからもないと思います。存在する場合、ユーザーはライターと呼ぶことができます。しかし、ビッグテックが立ち上げたジェネレーティブAIツールは、注入したものよりもはるかに多くのものを生み出すため、アーティストのためのツールとして機能することはできません。

　ここでチャンは要するに、AIアートにおいてユーザーが行う「選択の回数」があまりにも少ないことを批判しているのです。というより、その少ない選択が持つ情報量と、生成物が持つ情報量の大きさとの差のことをでしょうか。
「選択」を画家ではなく機械が行うことが批判されていることで、既存のフォトショップなどのデジタルツールを含まず、生成AIだけが批判の対象であることがわかると思います。フォトショップや3Dツールが行うのは人間がした選択がもたらす結果に至る工程を決定論的に推し進めるだけです。そこに他の人間の選択はなく、いわば計算機内の物理現象のようなものです。ポロックなどの画家が絵の具をカンバスに垂らすことは、3Dソフトで物理演算を利用するのと変わりません。そこに計算はあっても、選択はありません。（これは自由意志と決定論の話題が得意なチャンらしい着眼点です）
　また、よく言われるデジタルとアナログの区別は、人為的か否かの区別より重要ではないと私は考えます。なぜなら宇宙は最小単位において離散的だからです。それよりは、他の人間の判断が加わってしまうことが問題です。だから生成AIの学習は問題なのです。
　AIアートは「選択」のアートであり、これからは描くよりも選択が重要になると言ったAIユーザーがいました（SFマガジン参照）が、実は作業の中にも選択は無数に含まれていたわけで、AIアートに足りないのはまさにその選択だったわけです。

　あるSF作家の発言

制作動画を見せても疑惑が晴れなくなった。だからもうあきらめようよ。見分けがつかないなら等価だよ。

　これはチャンの考え方とは明確に対立します。チャンからすれば、どうみても人間の文章であるLLMの生成物でさえ、言語ではないのです。どうみても人間の描いた絵であるAIアートについても同じく、アートではありません。生成結果の見分けのつかなさではなく、その背後にある動作原理や意図を問うのがSF的思考ではないでしょうか。対して、「見わけがつかなければよい」という考え方はどういったジャンルなのでしょうか？エンジニア的？そのあたり無知ですみません。
　ナナフシは枝とほぼ見分けがつかないけど、木材として燃やしたらぎゃーってなりながら死ぬじゃないですか？内部の模倣が伴わない擬態といいますか、どうみても擬態先に見えることがなんなのでしょうか。
　もちろん、外見と中身があるナナフシとは違い、イラストは二次元平面である外見がすべてです。ですが画像データ単体をあらゆる文脈を排除して見る人はいないでしょう。ウイルスは生命の持つ細胞がなければただの有機分子ですよね。絵も媒体でしかありません。媒介される情報の出どころや意味は何かは、媒体だけでは決まりません。あらゆる文脈を排除してしまうのは、むしろAI側の視点です。　
（ところで生物学方面の人も資料が汚染されて困ってないですか？これは時間によって解決するのでしょうか？）

　ところで私はAIアートはすべてが盗作的だと思います。生成結果の個別の「依拠性」「類似性」を事後的に判断するのでは不十分です。
　まず実際レベルの問題として、学習元画像への過適応による類似を、ユーザーが作品発表前に判別できる可能性はありません。ユーザーの識別機能を、生成機能が上回っているのです。これは「学習素材外の既存の作品と偶然似てしまった」場合の話ではありません。雑に言うと人間の絵描きは生成器だけではなく検閲器も兼ねていたということですが、その性能は相関しているので、ユーザーに侵害を予防する能力はないがち。
（著作権侵害しない生成AIのモデルのアイデアとしては、GANを応用して、上手く復元できているか識別する識別器の次に、さらに「過剰に似ているものを排除する検閲器」を設置すればよくないですか？とはいえこれはまさに本末転倒なので、クオリティが落ちてしまうと思いますが）
　また、チャンが言うように他人の選択結果を無許可で使うこと自体が問題です。無料素材集は他人の許可つきの判断なわけですが。
　ユーザーは生成AIは選択結果ではなく作家の選択の癖のようなものを学習しているのだと反論すると思います。そして絵柄やアイデアに著作権はないというところに結びついていくと思います。
　問題は学習の最初に元画像のすべての画素を利用していることではないでしょうか？生成物は元画像の持つバイト数のわずかしか含みませんが、形状はパターンとして他画像と一緒に相補的に記憶されており、情報量は失われているが認知的には複製物に見えるものを復元することができます。不可逆圧縮という言葉はよく使われますが、それとの類似で言えば、いわばすべての画像の重複している冗長性をまとめあげることでコンパクトにしたデータベースとでも言えるでしょうか。既存の作品群を無料素材集に変えることができる素晴らしい技術と思えます。
　重要なのは情報量をかなり減らしても人間の認知的には類似すると見なせる程度のものが出力できることです。（可逆圧縮の話題を出す必要はありません。普通画像などの文脈で圧縮と言ったら画質を落として容量を小さくすることに決まってると思いますが）
　なんだか不正確だったらすみません。前に調べていたときはもっとソースとか引用していたのですが、飽きちゃったので。
　それは一種の新しい盗作の形だと思いますが、まだ上手く言えません。この形式の盗作を表す言葉がまだないのかもしれません。応用統計学的引用というか……。
　チャンは生成AIについてこう言いました。
〝人工知能（AI)ではなく応用統計学と呼ぶほうが適切だ〟

　AIアートを見てくれ！ではなく応用統計学的引用をみてくれという感じなら棘もないのかな？これは作品であると主張しなければ盗作ではないです。だからアマチュア小説家がAIアートを表紙にしてる様子とかは微笑ましいですがタグ付けさえすれば引用の一種なんだなという。
　生成AIと人間との合作ですというときも、俺の絵には応用統計学的引用が含まれますとか明示しておけば、まあいいんじゃないかなと。(XにはAI絵のNG機能がないのがつらい）
　こういう区別が一切ない世界を求める（いわゆる）AIクリエイターの人もいるかもしれないけど、AI側が学習素材が汚染されるのを嫌うのでタグ付けの方向に積極的ですよね。タグを偽造できるとかになるとわかりませんけど。

◆

　なぜ日本SF業界が生成AIにすごく親和的なのかと言えば、色々理由はあると思います。前々からAIで小説を書く試みはされていた。無断学習に基づく生成AIではないAIのころから。
　そういうAIと名がつく別のもの、あるいは生成AIを推進する政策的なものは脇に置くとして、もっと卑近に言うなら日本SFが「擬人化」という様式に頼ってきたからだと思います。
　テッド・チャンが「地獄とは神の不在なり」で言いたかったことは、神とは物理法則や運命などの擬人化のようなものであるだろうということです。じゃあ実際に擬人化してみよう、でもそいつら人間には全く興味ないよ、というのがその短編のギミックです。「オムファロス」もそのようなものです。テッド・チャンは宇宙に対する擬人化の弊害を忠告した作家です。日本SFの逆です。
　擬人化は物事を理解するために便利で強力なツールです。ほとんど他のツールを持たないことがあります。たとえばcomputerだって最初は人間の計算人だったことを思うと、AIから擬人的表現を排することはほとんど不可能ではないかと思われます。しかし、厳密にみていけば擬人化を排除することはできると思います。
　大御所のSF作家たちが期待するように、生成AIはソラリスの海のような異質な知性が我々を理解しようとしているもの、ではありません。異質でもなければ知性でもありません。それは企業が弱い個人の著作物を収集し二次利用するための手段です。これに見出すべき未知の知的構造はありません。たしかにハルシネーションは人間の夢に似ていたり、「人間以外の知的存在の視点」が垣間見られるような気がします。それは興味深いことです。知性の定義を狭く制限すべきではなく、寛容になって、生成AIを知性と認めるべきと思うかもしれません。ならばその知性の目的は生成AIの関数を読めば書いてあるはずです。それは学習元データの復元を目的とした関数です。知性とは入力データの不完全な復元を目的としたものでしかないのでしょうか？他にも意図や推論能力がなくてはなりません。もっと異質だったとしても、例えば『太陽の簒奪者』のナタリアは、入力も出力もしない知性というのが斬新で、もっとも異質さを表現したAIだと思っています。入力に依存し、出力結果だけで価値が判断される生成AIとは対照的です。
　また、生成AIに推論能力がないことはグレッグ・イーガンの引用にて後述します。LLMはまるで推論能力があるように見えますが、原理的にその能力は持ち得ないということです。イラストAIも対象を理解しているように見えますが、統計的な蓋然性と理解は違います。平面から立体を理解することには統計的にではなく論理が必要です。たとえば空気遠近法は統計的にできそうですが、透視図法における無限遠や消失点は数学的な概念です。（ちくま文庫　絵画空間の哲学参照）生成AIは初歩的な数学において間違うことが知られています。
　これは言語においてチョムスキーがどうこうの議論でも繰り返されています。法則を統計から導き出すことができるのかとか。できたとするのが昨今のAI業界ですが、出来ないというのが慎重な専門家です。
　人間の思考もLLMみたいに前のトークンから次が出てくるだけみたいに言う人も出てきました。このことをイーガンは否定しています。これは後述します。

　日本SFが生成AIを推進してしまった件に戻りますが、テッド・チャンは初期から生成AIは企業が情報を搾取する道具だと言っていたのに対して、最近ではSFプロトタイピングという動きがあります。SFを企業のためのアイデアとして使うということですが、これに対してテッド・チャンのような意見はどのような扱いになるでしょうか？「チャンのような批判も一種のSFプロトタイピングだ」と言いたくなるかもしれませんが、彼の発言を最重視したら、あらゆる創作に生成AIは使わないのがよいという結論になります。そのような意見は、彼が世界最高のSF作家と呼ばれているにもかかわらず、SFプロトタイピングには採用されないのではないでしょうか。
　生成AI業界は、知性やアート、著作権の定義に関する障害となる議論を迂回しました。SF作家クラブの声明において、あらゆる問題は〝技術的問題〟とされ、推進によって解決されるとされ、それらは〝専門家〟の間で（非公開で）すでに議論がなされたと言いました。しかしテッド・チャンは違いました。
　おそらくテッド・チャンやグレッグ・イーガンの生成AI批判は日本では大々的に取り上げられないと思います。取り上げられても、まあそういう意見もあるよねで済まされると思います。なぜなら日本はアトムやドラえもんがどうこうでAIに寛容だからです。（SFマガジンでの発言）それは寛容なのではなく、アニミズムのような擬人化です。擬人化しない専門家も、あえてそれを黙認しています。末端のAIユーザーは人間のアートにこだわる我々を宗教や信仰のようだといいますが、擬人化はさらに素朴な信仰にほかなりません。

◆

生成AIが知能ではないことについて、今度はイーガンのXでの動きからみていきましょう。

Greg Eganさんがリポスト
Chomba Bupe
@ChombaBupe
We don't assume large language models (LLMs) don't reason.
There is literal scientific evidence for it.
The architectures + statistical learning approaches are inherently incapable of causal reasoning.
Building real reasoning capabilities in machine learning (ML) models is proving difficult because reasoning is inherently discrete, non-differentiable, hence not compatible with backpropagation + stochastic gradient descent (SGD) statistical learning strategies.

機械学習 (ML) モデルで実際の推論機能を構築することは困難であることが証明されています。推論は本質的に離散的であり、微分不可能であるため、バックプロパゲーション + 確率的勾配降下法 (SGD) の統計学習戦略と互換性がないためです。

〝推論は本質的に離散的であり、微分不可能であるため〟
　これってどういうこと？よくわからんのだけどなんか本質情報っぽい。グラフにするとガクッとなってゆるやかな勾配じゃないってことでしょ。論理では表の反対は必然的に裏だけど統計ではたまたま毎回そうなっているというだけだよね。明日低確率で表の反対が表になるかもしれない可能性を否定できない。クリプキがどうこう。
　よくわからんがとにかく生成AIは推論機能を原理的に持てないということです。
　スティーヴン・ウルフラムはこのことに気づいていて、wolfram言語という論理を表すことのできる言語をchatGPTと組み合わせる発想について語っています。（chatGPTの頭の中参照）しかしいわゆる生成AIのみでは推論機能を持つことができません。つまり、知性を持つことができません。

◆次に、イーガンの〝学習〟という言葉の定義についての考えをみましょう。

Do we actually agree on what it means to "understand" something?
引用
Ilya on LLMs understanding the world:
"predicting the next token well, means that you understand the underlying reality that let to the creation of that token"
Seem like the opposite view of Yann.

Ilya は、LLM が世界を理解する上で次のように語っています。
「次のトークンをうまく予測するということは、そのトークンの作成につながった根本的な現実を理解していることを意味します」
ヤンとは正反対の意見のようです。

Greg Egan
@gregeganSF
This was my take in a novel about AIs that I wrote in the ’90s, DIASPORA:

Learning was a strange business. Ve could have had vis exoself wire all this raw information straight into vis mind, in an instant - ve could have engulfed a complete copy of the Truth Mines, like an amoeba ingesting a planet - but the facts would have become barely more accessible than they already were, and it would have done nothing to increase vis understanding. The only way to grasp a mathematical concept was to see it in a multitude of different contexts, think through dozens of specific examples, and find at least two or three metaphors to power intuitive speculations. Curvature means the angles of a triangle might not add up to 180 degrees. Curvature means you have to stretch or shrink a plane non-uniformly to make it wrap a surface. Curvature means no room for parallel lines or room for far more than Euclid ever dreamed of. Understanding an idea meant entangling it so thoroughly with all the other symbols in your mind that it changed the way you thought about everything.
―

　ここでイーガンは〝（LLMが）次のトークンをうまく予測するということは、そのトークンの作成につながった根本的な現実を理解している〟という見解を批判しています。そして、自身の作品『ディアスポラ』から主人公が学習について考えた部分を引用しています。
　この主人公はコンピュータの中で暮らす情報生命みたいなやつで、それでも一応人間の精神をベースにしています。彼らは真理鉱山という古今の知識のデータベースみたいなところで、マトリックスのようにあらゆる知識を自分の精神にダウンロードできます。しかし、イーガンはそれでは対象についての理解を増やしたことには全くならないと考えます。
〝ある考えを理解するとは、それを自分の精神内のほかのシンボルすべてと徹底的に絡みあわせ、あらゆることについての自分の考え方を変えることだった〟
　それはあらゆる文脈との相互作用がなければならないということです。LLMや画像生成AIはそれをしません。

最後に、最近のイーガンのAGIに対する展望をみましょう。

6月19日
@gregeganSF
Do you think LLM's are a pathway to actual AGI?

Greg Egan
@gregeganSF
No.

　これには私もちょっと驚きました。直系の祖先にはならなくても、AGIに部分的にLLM的なものが流用されるのではと思う人が多かったのではないかと思います。でもイーガンは一言で否定しました。(a pathwayなので、the・唯一の道ではないどころか、一つの支流ですらない）
　にも関わらず、近いうちにそのような試みはされるでしょう。そして出来上がるのはAGIもどきのようなものです。（生成AIはすべて何かの模造品で、すべてがプロの目からは欠陥品だが専門外の人間を騙すには十分な性能を持っています）彼らは知性のように見えるAGIもどきを作るでしょうし、ほとんどの人にはそれを見抜くことができないまま、致命的な破綻が発生するでしょう。（本当のAGIが制御できるかどうか、AGI自体の権利的に生み出すべきかどうかは次の別問題）（スカイネットの反乱や暴走の話ではないです。それ以前の話）（AGIもどきはそれでもなぜか、人間レベルの権利を与えられるでしょう）（超知性もどきは学習元になる超知性がいないのでもどきすら造られない）（しかし超知性っぽいものを作ったと彼らは主張したいので、彼らはwebすべての情報の不正確な縮約版のようなものを超知性と呼ぶでしょう）

◆おわり

　まとめ
・私は生成AIがイラストをSFのネタにできるようにしてくれて感謝している
・チャンによれば、生成AIアートは実はAIでもアートでもない
・イーガンによれば、生成AIは原理的に知性を持てないので、AGIの祖先ではない

　いかがでしたか。アートとAIの未来は明るいですね。