LlamaIndex の Gemini統合を試す

2024年3月1日 23:26

「LlamaIndex」の「Gemini」統合を試したので、まとめました。

・llama-index v0.10.14

1. Gemini と GeminiEmbedding

「llama-index-llms-gemini」パッケージの「Gemini」と「llama-index-embeddings-gemini」パッケージの「GeminiEmbedding」を通じて、Googleの「Gemini」と「Embedding」およびその他の生成モデルにアクセスできます。

2. ドキュメントの準備

今回は、マンガペディアの「ぼっち・ざ・ろっく！」のドキュメントを用意しました。

・bocchi.txt

3. 質問応答

Colabでの実行手順は、次のとおりです。

(1) パッケージのインストール。
「llama-index-llms-gemini」と「llama-index-embeddings-gemini」をインストールします。

# パッケージのインストール
!pip install llama-index==0.10.14
!pip install llama-index-llms-gemini llama-index-embeddings-gemini

(2) ログレベルの設定。

import logging
import sys

# ログレベルの設定
logging.basicConfig(stream=sys.stdout, level=logging.DEBUG, force=True)

(3) 環境変数の準備。
左端の鍵アイコンで「GOOGLE_API_KEY」を設定してからセルを実行してください。

# 環境変数の準備 (左端の鍵アイコンでGOOGLE_API_KEYを設定)
import os
from google.colab import userdata
os.environ["GOOGLE_API_KEY"] = userdata.get("GOOGLE_API_KEY")

(4) LLMと埋め込みモデルの準備。

from llama_index.core import Settings
from llama_index.llms.gemini import Gemini
from llama_index.embeddings.gemini import GeminiEmbedding

# LLMの準備
Settings.llm = Gemini(
    model_name="models/gemini-pro",
)

# 埋め込みモデルの準備
Settings.embed_model = GeminiEmbedding(
    model_name="models/embedding-001", 
)

【注意】「models/embedding-001」は日本語の精度がよく無さそうなので、今は「OpenAI API」のEmbeddingを使ったほうが良さそうです。

(5) Colabにdataフォルダを作成してドキュメントを配置。
左端のフォルダアイコンでファイル一覧を表示し、右クリック「新しいフォルダ」でdataフォルダを作成し、ドキュメントをドラッグ&ドロップします。

(6) ドキュメントの読み込み。

from llama_index.core import SimpleDirectoryReader

# ドキュメントの読み込み
documents = SimpleDirectoryReader("data").load_data()

(7) インデックスの作成。

from llama_index.core import VectorStoreIndex

# インデックスの作成
index = VectorStoreIndex.from_documents(documents)

(8) クエリエンジンの作成。

# クエリエンジンの作成
query_engine = index.as_query_engine()

(9) 質問応答。

# 質問応答
print(query_engine.query("ぼっちちゃんの得意な楽器は？"))

ギター

LlamaIndex の Gemini統合 を試す

1. Gemini と GeminiEmbedding

2. ドキュメントの準備

3. 質問応答

関連

LlamaIndex の Gemini統合を試す