褒めてくれるテキスト生成AIのためのデータセットの検討
最近、褒めてほしい欲が強いです。noteも褒めてほしくてやっているところがあります。
褒めてくれるのは人間でなくAIでも良いのですが、何か頑張ったことを話すと的確に褒めてくれるようなAIはまだ出てきていないと思います。
既存サービスを調べる
既存サービスとしては「ベタ褒めシャワールーム」という、職業などの情報や何を褒められるとうれしいかなどのアンケートをもとにセミパーソナライズした褒めを受けられる体験型コンテンツがあるようです。
https://lp.frontier-i.co.jp/betabomeshower/
良さそうですが、セミパーソナライズするだけでなく具体的に「今日何をしたか」を入力して、それを褒めてくれると嬉しいですね。
日本語を対象にした研究
日本語を対象にした論文では、「上手く褒めるために効果的な言葉づかいの調査」という資料があります。
https://www.interaction-ipsj.org/proceedings/2021/data/pdf/2Q04.pdf
1対1で褒めあう会話を行い、アノテータが褒め方のうまさを評価して、高評価の表現に頻出する語彙をまとめた内容です。
知見として、「2週間」など具体的な期間に言及して褒めたり、「思う」など褒め手が感じたこととして表現するのが有効という報告になっています。
データセットを見てみたいですが、残念ながら公開されていないようです。
同じ研究グループによる関連テーマの研究もいくつかあるようでした。
https://mytlab.org/project/praiser/
AIのべりすとに褒めてもらう
AIのべりすとは小説生成のAIとして知られていますが、対話やタスクリストなど様々なテキスト生成を高い精度で行えます。
とりんさま7.3B V5を使って、褒めてもらえるかを試してみようと思います。
一覧生成
まず一覧を生成するスタイルで試してみました。
発表形式にして、箇条書きの1.までpromptにするとリストを出力してくれます(太字が生成部分)。
多様なほめ表現が出てきて面白いですが、短文が出やすく行ったことに具体的に言及してくれない印象です。
褒めていない表現もちょくちょく見られます(さすらいの僧侶とは)。
1対1チャット
AIのべりすとには「一対一チャット用プロンプト_v2」という対話を行うためのプリセットがあるのでこれを使ってみます。
太字がAIのべりすとの生成した部分です。
結構いい感じに褒めてくれました。AIのべりすとはすごい(褒め)。
ただ、これは一発で生成できたわけではなく、AIのべりすとの発言のはじめに「わかりました。褒めてみます。」を入力したり、発言ごとに数回リトライを繰り返しています。
たとえば、こういう返しが帰ってくることがあります。
(棒)や(棒読み)の出現頻度はそこそこ高いです。自分から「褒めてください」と言ったときに煽りで返すような会話が小説に多いのかも…?
promptの書き方次第で緩和できるかもしれません。
また、頑張ったタスクの内容によってはこういう応答もまれにあります。
辛い。
せっかく褒めてほしいと思ってAIのべりすとを開いてもこういった応答が帰ってくると悲しいです。
これを防ぐために、うまく褒めてくれた会話を保存しておいてデータセットを作り、常に褒めてくれるカスタムの生成モデルを作ったり、生成モデルの応答が褒めかどうかを判定するモデルを作って、褒めている結果だけになるようにフィルタリングなどできるとよさそうです。
今回AIのべりすとを触っている中でうまく褒めてもらえていると思ったデータについて、ごく少量ですがここに公開しました。
https://github.com/oshizo/praise_data
この記事が気に入ったらサポートをしてみませんか?