ChatGPT3.5の出力品質を向上させる為に必要な事　その２

・評価指標の明確化について

生成された文章について評価を行う時、何かしらの言葉を定義付の指標として用いるだろう。
それが"精度"であったり、"正確"という言葉だとする。我々人間であれば、その言葉が意味する事を程度の差はあれ理解出来る。Chat GPTには、それらが"何を意味するのか"をただぼんやりと投げかけるよりは、より明確にすると品質の向上が見込める可能性がある。

例えば、舞台設定のある物語を出力させるとする。
もし、プロンプト内で"精度"という言葉を評価指標として使用するのであれば、例えば以下のように定義してみる。

・ここでの"精度"とは、出力内容がどれだけ設定に沿っており尚且つ史実に近い内容であるか、を確認する為の指標と定義する。
・例えば、史実の人物名を使用する場合は氏名の正誤を確認する。また、年表に沿って歴史上の出来事が描かれているかを確認する、史実の内容をどの程度反映しているかを確認するetc…。

理想とする出力内容に近づけられるよう、自分なりに言葉の意味を明確にすることが品質向上にとって大切である。