チャットボットのテストのためのチャットボットを作って自動で対話してもらう
突然ですが、チャットボットのテストって大変ですよね。
単に「あるプロンプトに対して期待通りの返信をするかどうか」をチェックすれば良いのではなく、会話を続けていく中で自然な振る舞いをし続けてくれるかどうかを確認する必要があるわけですが、これを人手で確認するとなると延々とボットとチャットし続けなくてはならなくなる。。
しかも何らかの不自然さが見つかった場合にはシステムメッセージなどのプロンプトを変更しながら再トライする訳ですが、繰り返すうちに段々そもそも一体何が問題だったのか
