Llama Indexのアーキテクチャをわかりやすく図にしました

ChatGPTなどの生成AIに関する本を執筆して、インプレス社か出版しました。（Llama Indexは含まれておらず、LangChainについて書いています）

詳細は、以下のページをご覧ください。

LlamaIndex（ラマインデックス）は、大量の個人のデータにアクセスしてコンテキストを作成するためのツールです。
簡単に言うと、自分の質問とともに、個人のデータをプロンプトに含めることで、個人情報からデータの探索を行えるようにするツールです。
API、PDFファイル、データベースなどの情報源にアクセスし、その情報を活用してAIモデルへの質問文を作成する際の補助を行います。

LlamaIndexの中核は、インデックス（Indexes）です。
インデックスは、情報源から取り込んだデータ（ドキュメント）を整理し、検索しやすい形に構造化したものです。
インデックスを通じて、質問文の生成時に効率的にプライベート情報にアクセスし、プライベートな情報を含むコンテキストを簡単に作成できます。

LlamaIndexのプロセスは大きく二つ、Indexing StageとQuerying Stageがあります。
Indexing Stageでは、データソースから取得したデータを整理し、インデックス化し、Querying Stageでは、ユーザが入力したクエリーを解析し、インデックスから関連する情報を取り出し、最終的なレスポンスを生成します。

この仕組みを用いることで、LlamaIndexは大量のデータを効率的に管理し、ユーザーが必要な情報を迅速に取得できるようにします。
特に、多くの情報が散在している場合や、特定の情報をすばやく引き出したい場合に有用です。これにより、AIモデルへの質問文作成を大幅に効率化し、より良い結果を得ることができます。

LlamaIndexを構成する重要な要素として、以下の図を作成しました。

左がIndexing Stage、右がQuerying Stageです。

Indexing StageとQuerying Stageの2つのステージにおいて、LlamaIndexは各々の独特なプロセスを行います。

Indexing Stageでは、まず最初に、異なるデータソースから取得した情報をDocumentオブジェクトに変換します。それらのDocumentのリストはNode Parserを介して、より扱いやすいNodeへと変換され、さらにそれらは効率的なデータアクセスのためにインデックス化されます。

一方、Querying Stageでは、ユーザーのクエリ（質問）をエンジンが受け取り、それに応じた適切な情報をIndexから検索します。この検索プロセスはRetrieverによって行われ、関連するNodeが取り出されます。その後、Node Postprocessorが必要な情報だけを選び出し、これらをGPTへの問い合わせの一部としてResponse Synthesizerに渡します。

エンジンは最終的に、GPTからの応答を受け取り、それをユーザーに提示します。そして全体の動作設定は、Service Contextを通じて行われます。

これら一連の動作により、LlamaIndexは大量のデータから関連性の高い情報を効率的に抽出し、それを利用してユーザーの質問に対応するための自然言語の応答を生成します。