論文メモ MemGPT： オペレーティング・システムとしてのLLMを目指して

MemGPT: Towards LLMs as Operating Systems

MemGPT: Towards LLMs as Operating Systems

Charles Packer, Sarah Wooders, Kevin Lin, Vivian Fang, Shishir G. Patil, Ion Stoica, Joseph E. Gonzalez

[v1] Thu, 12 Oct 2023 17:51:32 UTC (391 KB)
[v2] Mon, 12 Feb 2024 18:59:46 UTC (419 KB)

概要 大規模言語モデル（LLM）はAIに革命をもたらしましたが、固定長のコンテキストウィンドウに制約され、長時間の会話や文書解析においてその有用性が制限されています。これを克服するために、MemGPTというシステムを提案します。MemGPTは、仮想メモリ管理の技術を活用し、LLMのコンテキストウィンドウを効果的に拡張します。

導入 LLMは会話型AIの基盤として多くのアプリケーションで使用されていますが、固定長のコンテキストウィンドウに制約されています。コンテキスト長の直接的な延長には多大な計算資源が必要であり、長コンテキストモデルが追加のコンテキストを効果的に活用するのに苦労するため、代替技術が必要です。

MemGPTの提案 MemGPTは、オペレーティングシステムの仮想メモリページングのアイデアを取り入れ、LLMが自身のコンテキストを管理する機能を提供します。これにより、LLMはコンテキストウィンドウと外部ストレージの間で情報をページングし、長期的な文脈を保持することができます。

実験 MemGPTは、会話型エージェントと文書解析の2つのドメインで評価されました。会話型エージェントでは、ユーザーとの長期的な対話において一貫性とエンゲージメントを向上させることができました。文書解析では、LLMのコンテキスト制限を超える長文を処理し、関連情報を効果的に検索することができました。

結論 MemGPTは、OSに触発された技術を用いて、LLMの固定コンテキスト長の制約を克服し、長期的な文脈を保持することができることを示しました。これは、AIシステムにおけるLLMの能力を最大限に引き出すための新しい方向性を示しています。