LlamaIndex で ChatGPT API を試す
「LlamaIndex」で「ChatGPT API」を試したので、まとめました。
1. ChatGPT API
「LangChain」のLLMは今まで「GPT-3」(text-davinci-003) が事実上の標準でしたが、今後は「ChatGPT API」(gpt-3.5-turbo) が標準になりそうです。「ChatGPT API」は「GPT-3」に比べて価格が 1/10 になりました。
2. Colabでの実行
基本的に、以下の記事と同じ手順です。
違いは、インデックス生成時に、llm_predictorに「ChatGPTLLMPredictor」を指定することです。prepend_messagesには、プレフィックスメッセージを指定します。デフォルトは「{"role": "system", "content": "You are a helpful assistant."}」です。
from llama_index import GPTSimpleVectorIndex, SimpleDirectoryReader
from llama_index.langchain_helpers.chatgpt import ChatGPTLLMPredictor
# ChatGPTLLMPredictorの準備
llm_predictor = ChatGPTLLMPredictor(
prepend_messages = [
{"role": "system", "content": "あなたは役に立つアシスタントです。"},
]
)
# インデックスの作成
documents = SimpleDirectoryReader('data').load_data()
index = GPTSimpleVectorIndex(
documents=documents,
llm_predictor=llm_predictor
)動作確認します。
response = index.query("ぼっちちゃんの得意な楽器は？")
print(response)ぼっちちゃんの得意な楽器はギターです。正解。