AIは記憶を獲得するのか？GPT3.5の限界を知る

こんにちは。けいすけです。

この記事ではGPT3.5の「記憶力」の限界を検証します。

といっても、単に限界の4096トークンについての記事です。

なんだ、そんなこと知っているよ、と言う方はぜひ別の記事へ！

ということで早速本題です。

ChatGPTは過去のやりとりにもとづいて返事をしてくれます。例えばこんな感じです。

これは、過去のやりとりを「記憶」あるいは「記録」している様に見えるのですが、実は違います。

ChatGPTは新しくやりとりをする時に、それ以前のやりとりを全て再読込しているだけに過ぎません。

そして、処理できる量は最大4096トークンです。（ここではトークンの説明はしません。ざっくり言うと日本語1文字で1〜3トークンだと思ってください）

質問のトークン数と回答のトークン数の合計が4096ということですね。

質問や回答が少ないうちは、過去のやりとりも読み込んでくれるのですが、やりとりが長くなると4096トークンには収まらなくなるので、過去のやりとりから消えていくと思われます。

過去のやりとりから消えていくというのは、ぼくの推測です。

試しにこんなやりとりをしてみます。

とにかく長いやりとりをしていきます。

このように、長いやりとりをすると、最初の方から記憶が消えていきます。

と言うことで、今日はここまで、

---

ChatGPTやStable DiffusionなどのAIについて語るライングループを作りました。

興味がある方はぜひご参加ください（無料）

プロンプトの秘密基地
https://line.me/ti/g2/QwHQIm1GcUd8I6wFSWLnnPchsVpTK_eMjaJEpQ