マガジンのカバー画像

大規模言語モデル

14
LLMでいろいろ遊んだ記録集
運営しているクリエイター

#算数

LLMが足し算できない理由

LLMが足し算できない理由

この記事を読んで理由が分った気がします

ここで紹介されている研究によると、1層のTransformerモデルで、n桁整数加算の内部動作を詳細に分析すると

モデルは課題を桁ごとの並列な処理に分割している

モデルは桁の位置に応じて異なるアルゴリズムを適用している

モデルは特定のまれなケース(9の合計を使うケース)の処理が苦手

筆算は、一桁分の計算と繰り上がりさえ覚えれば、「以下、同様に」で、

もっとみる