プロンプト管理にAgentaを使う
[読了目安: 3分]
NO AI(人間が書きました✍️)
AI系ポッドキャスト(耳で学ぶAI)運営の矢野哲平(@robothink_jp)です。この記事ではAgentaを使ってプロンプト管理を行う方法を解説します。
👨💻対象読者
- プロンプトを効率的に管理したい
- プロンプトの比較やテストを行いたい
Agenta
プロンプトの管理や評価ができるオープンソースのプラットフォームです。個人的には使いやすいと思うのですが、あまり使っている人見かけないんですよね…
プロンプト管理ツールは色々ありますが、オンラインで面倒な環境構築もないので手軽に試せます。
何ができる？
私の使い方になりますが、Agentaで以下のようなことをしています。
プロンプトのバージョン管理
プロンプトやモデルの比較
テストケースのセッティング
自動テストによる評価
人間の評価による記録管理
例えば、文章校正のプロンプトを作成するとします。この時にどういったプロンプトを書けばより精度が上がるのか？何のモデルを使えば？ということを比較できます。
誤字脱字のテスト対象(わざと間違えた文章)も登録できるので、効率よくテストできます。
試す
では、アクセスしてみましょう。
GoogleかGithubのアカウント連携で簡単にログインできます。
App ManagementからCreate new app > Create From Template > Single Prompt OpenAIから新しくアプリを作成します。
初めてアプリを作成するとサンプルが表示されると思います。
<Prompt system>
You are an expert in geography.システムプロンプトに地理のエキスパートです、と入力されています。
<Prompt user>
What is the capital of {country}?ユーザープロンプト、つまり普段私たちがChatGPTのチャット画面に入力するプロンプトには、{国}の首都はどこですか？と入力されています。
つまり与えられた国名から首都を返すプロンプトですね。この{country}部分は変数といってテストケースに記載された国名が入ります。
つまり、
{東京}の首都は？
{アメリカ}の首都は？
といった具合にテストケースで指示した国名が入ります。
実行する
試しにPreview and testに値を入力して実行してみます。
Input parametersのところに"Japan"と入力してRun Test(テスト実行)を押します。
テストを実行する
左サイドバーからTest Setsを押すとサンプルのテストケースが記載されています。{country}と{correct_answer}ですね。
国名に対して正解がテストケースとして用意されています。
例えば、テストを実行して正答率がどの位か、ということを計測できます。
Automatic Evaluationは自動評価のことで機械的に判断していきます。
Evaluatorsからテスト方法を設定できます。デフォルトではExact MatchとContains Jsonが設定されています。
Exact Matchは出力と解答例が完全一致する必要があるので、今回のケースでは向きません。国を聞いたら首都を返すようなケースでは首都の単語が入っていれば合格にする、と仮定してSimilarly Matchあたりが使いやすいと思います。とりあえず回答の中に正しい首都名が入っていればOKということで。
それ以外にも人間による評価(Human Evaluation)やLLMによる評価もオプションであります。
自動化してテストするケースもあれば人間によるテスト結果を残せる仕組みもあるわけです。
ちなみにLLMによる評価を実施する場合はOpenAIなどのAPIキーを入力する必要があります。
Agentaの金額
ここまでの機能は全て無料で使えます。無料ユーザーの場合、3つまでプロジェクトが作成できて評価機能の利用は月20件までです。
LLM開発をしている人には物足りないと思いますが、非エンジニアのライトユーザーであれば3つのプロンプトを無料で管理できるだけでも有用なサービスと思います。
ちなみに、もう一つ上のチームプランになると上限が撤廃されます。50ユーロなので月額8,000円ほどになります。
ドキュメントの把握にNotebookLMを使う
Agentaはユーザーが少ないのかネット上にあまり情報が出回っていません。Agenta AIで調べるとAI Agentがヒットするという…
ですが、公式のドキュメントが充実しています。NotebookLMにURLを投げて仕様把握すると効率的だと思います。
NotebookMLってなに？という方はこちら👇
【note読者限定】生成AIのおすすめツールの資料を配布中
生成AIツールは何を使えばいいか分からない
もっと業務効率化に貢献するツールを知りたい
ChatGPT以外のAIツールを知りたい
こういった声に応えておすすめの生成AIツールを解説する資料を制作しました。もっとAIの情報をキャッチアップしたい人はぜひご覧ください。
👉資料を受け取る
noteでも月に20本ほどAI関連の記事を投稿しています。フォローよろしくお願いします😼
この記事が参加している募集
この記事が気に入ったらサポートをしてみませんか？