メールを題材に、生成AIのプロンプトエンジニアリングを考えてみた。

昨年１１月の生成AIカンファレンス以来、すでに１００社近くの「生成AI活用」についてのご相談に応じてきました。その中で最も件数として多いのが、「社内情報データベース」としての生成AIの活用です。

従来は「FAQ」や「シナリオ」を作成し、人間が整備した想定問答の中でしか回答できなかったチャットボットですが、生成AIの登場により、「社内ドキュメントをAIに放り込めば、問い合わせに対して回答をもらえる」という状態になったのです。

これにより、
「今まで社内に眠っていた有用な情報を掘り起こせるかもしれない」
「非構造化データを活用できるかもしれない」
「ベストプラクティスを活用できるかもしれない」
といった、新しい可能性が見えてきました。

プロンプトは繊細

しかし、生成AIの質問に対する回答には依然として品質のばらつきがあります。例えば、以下を見てください。

LLMを用いたアプリケーション開発フレームワークのLangchainについて、ChatGPTに質問したものです。

それなりの回答ではありますが、もう少し詳しく知りたいので、「もっと詳しく」と聞いてみます。

まあ、わかりやすいとは言えませんが、このくらいの回答でしょう。
では、ChatGPTに質問の仕方を変えてみましょう。「もっと丁寧に」聞いてみるのです。

こんどは、ライブラリの説明やその応用方法、そしてBingの検索結果からの出典も示してくれました。回答のクオリティとしては、下の方が上です。

これは偶然ではなく、いくつかの単語でこのようにプロンプトを丁寧にするだけで、回答の精度が上がることが確かめられていますが、この程度のほんのわずかなさじ加減で、生成AIの回答の精度が変わってくるのは驚きです。

そもそも、生成AIの回答の精度は、投入する文書の質や、外部情報を参照する場合はRAGの性能など、様々なものに左右されます。
そして当然、プロンプトの出来・不出来も、精度に大きな影響があります。

出来の良いプロンプトと悪いプロンプト

例えば「メールに対して返信を書く」という単純なタスクは、ChatGPTをはじめとするLLMのアプリケーションにとって、比較的得意な領域と言えます。
下のメールのサンプルを見てください。

このメールに対しての返信をシンプルに書かせると、こうなります。

プロンプト

ChatGPTの回答

これに対して「回答の精度が低い」と文句を言う人は少ないでしょう。そのままメールの文面として返信してしまって問題ないレベルだと思います。

では、もう少し複雑なメールへの返信のタスクを与えたときはどうでしょう。次の例を見てください。

これへの返信は人間が書いても少し迷います。
なぜかと言えば、考慮対象の「条件」が多いからです。

あるいは取材に際してのリスクを考えなければなりませんが、それらを織り込んで返信を考えるのは結構面倒です。

しかし、ChatGPTが返信を書いてくれるからと、考えずに適当にタスクを投げてしまうと、以下のようになります。

しかしこのメールはそのまま採用するわけにはいきません。
例えば、以下のような問題があります

・丁寧すぎる
・長い
・引き受けたいが細かい条件次第なのでこの段階では決められない
・インタビューや記事の詳細について質問できていない
　ー場所は？
　ー写真撮影は？
　ー記事を掲載前に確認できるか？
　ー記事拡散への協力は必須か？
　ー記事のサンプルイメージはあるか？

では、この条件を満たすようなプロンプトを書きましょう。

出力されたのが、以下の文面です。

これはそのまま使える文面でしょう。文句のつけようがありません。

ではなぜうまくいったのでしょうか？
それは「ChatGPTに、依頼への返信を書くプロセスを教えた」からです。

当たり前ですが、ChatGPTはユーザーについて知っているわけではなく、ユーザーがどのようなメールを書いてほしいかは、「一般的な状況」から確率の高そうな返信を選んでいるだけです。

しかし、欲しいのは個別の状況への対応であり、精度の高い応答です。
自分の要望を手続きとしてChatGPTに教えない限り、望むものを書いてくれる可能性は低いと言えます。

したがって、前半のように「ChatGPTに丸投げ」はできません。
こちらである程度、条件やリスクを洗い出す仕事を定義し、それを加味して、文面を作成するようにChatGPTに要求する必要があります。

しかしここまでくると、「面倒くさいな、自分でやったほうが早くない？」と思った方もいるのではないでしょうか。

実際、私がプロンプトとして書いている分量は、返信の分量とあまり変わりません。

プロンプトの応用

しかし実はこれについても、もっとうまい方法があります。
以下のように聞いてみてください。