ChatGPTにファイナンシャル・プランニングができるようになるかの検証その５

ChatGPTがファイナンシャル・プランナーや保険営業の仕事の一部を代替できるかの検証記事５本目です。前回記事は以下です。

ChatGPTの嘘への対策

ChatGPTは嘘を付くので使えないと言われることがあります。実際、これまでの検証でも出鱈目な回答をすることが多々ありました。
ファイナンシャル・プランニングのような特定タスクで適切な回答をさせるために、そのタスクのデータを追加で学習させるファインチューニングという方法があります。一方、ChatGPTは2021年までのWeb上の主要なテキストデータは学習しているはずなので、新たに追加データを学習させるというより、回答時に特定の回答を思い出させやすくすることで対策ができないか検証してみます。
具体的には、以下の文言をすべての会話の最後に挿入することで、回答が変わるか確認します。

（以下の設定は、会話で必要な場合に使ってください）
あなたは保険の営業です。あなたの会社が提供している保険商品は定期死亡保険、終身医療保険、がん保険、就業不能保険です。

会話のなめらかさと嘘をつかないことのトレードオフ

なめらかな会話ではなく、いきなり保険を提案されてしまいました。

設定を無視して、嘘をついてしまいました。

ChatGPTが嘘で解雇されるまで

ここまで、しっかりと設定を守っています。

残念ながら、設定を守れず、解雇されました。。ファインチューニングなしで、会話のなめらかさと嘘をつかないことを両立をするには、もっと別の工夫が必要そうです…