メモ：大規模言語モデルが論理的推論を学習できない直感的証明

歩いてたら思いついたのでメモ

大規模言語モデルは計算機上で実行されている。ここで計算機とはZFCの上に立てられた形式言語を受理する万能チューリングマシンのことである

すなわち大規模言語モデルはZFCの内側の論理しか導出できないし受理できない

仮に大規模言語モデルが論理的推論までZFCの内部で形式的に符号化されたデータから学習できるとすると、その大規模言語モデルはある系がZFCであるかZFC独立であるかを計算する能力を獲得してしまう

しかしこれは大規模言語モデルの学習がZFCの上に立てられた計算機上で行われていることとも、大規模言語モデルの学習データは全てZFCの上で形式化されていることとも、学習済みの大規模言語モデルがZFCの上に立てられたチューリングマシンの上で動いていることとも矛盾(第二不完全性定理)

したがってどんなに学習するデータ量を増やしても系そのものは学習できないため、人間から見るとある部分の機能が欠落したAIモデルしか作成できない