記事一覧
大規模言語モデルを使ったQAの精度を評価する
GPTなどのLLMを使ったQAシステムについて、色々なパラメータで試して精度を評価するシステムを作成しました。
大規模言語モデル（LLM）を活用してドメイン特化のチャットボットを生成することが注目されています。例えば、企業が自社のヘルプページを読ませて質疑応答チャットボットを作成することができます。
シンプルなQAシステムシンプルな構成では、LangChainなどを使って以下のようにプロンプト
LangChainのChatbotプロンプトを理解して日本語を出力するように誘導する
LangChainはLLMを使ったAIサービスを繋げ、チャットボットを作ったりReActフレームワークに従ったエージェントを簡単に作ることができるサービスです。
LangChainが用意しているエージェント`AgentType.CONVERSATIONAL_REACT_DESCRIPTION`は日本語で聞いても英語が返ってきたりします。これはエージェントに設定されているPromptが英語である理
Chroma: LLMのEmbeddingに使えるデータベース
なぜEmbeddingが必要か？ChatGPTやGPT-3.5などの大規模言語モデルを使って実際に大規模なドキュメントを扱うときに、大きな壁としてToken数の制限があります（GPT-3.5 Turboでは4,096 tokensなので日本語で3000文字くらい）。
この制限を超えたデータを扱うために使われるテクニックがドキュメントを細かくChunkに分割してEmbeddingを作るIndexin
Google Colabで始めるLangChain
LangChainのチュートリアルを一通りColabで試すLangChainはLLM(大規模言語モデル)を使ってアプリケーションを作るためのフレームワークです。プロンプトの挿入、会話の記憶を持ったチャットボットの作成や、外部の知識の取り込みなどをLangChainを使って作ることができます。
このColab Notebookでは以下のチュートリアルを試します。
https://colab.res
GPT4ALLをMacで試してみる
GPT4ALLとは？GPT4ALLは、OpenAIのGPT-3.5-Turboから得られたデータを使って学習されたモデルです。モデルはMeta社のLLaMAモデルを使って学習しています。
CPUで動き少ないメモリで動かせるためラップトップでも動くモデルとされています。
セットアップgitコードをclone
git clone https://github.com/nomic-ai/gpt4al