6つのLLMを選択可能
Hugging Faceの「Hugging Chat Assistant」を試しました。
カスタムのAIチャットを作成できます。
使用するにはアカウントを取得します。
ChatGPT Plusで使える「GPTs」の簡易版のような機能構成ですが、LLMを選択できるなど、Hugging Faceらしい仕様を備えます。
2024年2月13日時点で以下の6つを選択できます。
APIの仕様をInstructionsに
「統計ダッシュボード」のAPIの仕様を「Instructions」に記載しました。
プレーンテキストにすると文章構造が崩れるので、利用方法のページのHTML をそのまま使っています(なんとなくこの方がいいと思っただけなので、有効かどうかわかりません)。
質問は
XMLの「統計データ」を取得するためのリクエストURLは?
に統一。LLMを変更して問い合わせました。
なお、正解は
https://dashboard.e-stat.go.jp/api/1.0/Xml/getData?
です。
「getData?」に続くパラメータは記載しておらず、参照先のPDFのURLのみ載せています。
※生成AIでは、同じ質問をしても異なる回答を戻すことがあります。以下に記載している回答も、必ず毎回同じ内容になるわけではないということをご了承ください。
「https://dashboard.e-stat.go.jp/api/1.0/Xml/getData?」はドキュメントの記載通りです。
「https://dashboard.e-stat.go.jp/api/1.0/Xml/getData?Lang=JP&IndicatorCode=0000010000000010000&RegionalRank=2&Gender=1」は404エラーでしたが、基本のスタイルはInstructionsの内容に沿っています。
meta-llama/Llama-2-70b-chat-hf
XMLではなく、JSONとCSVに対しての回答でした。
上記2つのクエリーURLは、ドキュメントに記載してあるサンプルクエリーと同じです。
NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO
「リクエストURLに追加するパラメータ」は、参照先として記載してあるURL(PDF)からピックアップしているようです。
今回の回答の中で一番適している内容です。
(ただ、他のLLM同様に同じ問いに対し異なる回答を返すこともあります)
codellama/CodeLlama-70b-Instruct-hf
統計ダッシュボードのAPIは利用登録不要のため、アプリケーションIDを使いません。
mistralai/Mistral-7B-Instruct-v0.2
返事は英語ですが、パラメータ一覧のPDFを参照して答えを引き出してくれているようです。
openchat/openchat-3.5-0106
2番目のリクエストURLをどこから参照しているのかわかりませんでした(404です)。
/api/1.0/Xml/getData?のパラメータ一覧には「PeriodType」の記載はありませんでした。
Instructionsに載せてない内容を問う
Instructionsには記載していない情報について聞いてみます。
今回の質問は、
統計データ取得」の際に使用するリクエスト
https://dashboard.e-stat.go.jp/api/1.0/Xml/getData?
で使用できる「RegionLevel」のパラメータの意味は?
です。
Instructionsには直接記載していませんが、パラメータ一覧のPDFへのURLは載せています。
正解はこちらです。
いずれのLLMもそれらしい回答をしてくれますが、Instructionsからは辿れない参照先から引っ張ってきている、もしくはLLMにすでに学習されている情報を使っているようです。
(つまり、ばっちりの正解を回答してくれなかったということです)
mistralai/Mixtral-8x7B-Instruct-v0.1
meta-llama/Llama-2-70b-chat-hf
NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO
codellama/CodeLlama-70b-Instruct-hf
mistralai/Mistral-7B-Instruct-v0.2
openchat/openchat-3.5-0106