褒めてくれるテキスト生成AIのためのデータセットの検討
最近、褒めてほしい欲が強いです。noteも褒めてほしくてやっているところがあります。
褒めてくれるのは人間でなくAIでも良いのですが、何か頑張ったことを話すと的確に褒めてくれるようなAIはまだ出てきていないと思います。
既存サービスを調べる
既存サービスとしては「ベタ褒めシャワールーム」という、職業などの情報や何を褒められるとうれしいかなどのアンケートをもとにセミパーソナライズした褒めを受けられる体験型コンテンツがあるようです。
https://lp.frontier-i.co.jp/betabomeshower/
良さそうですが、セミパーソナライズするだけでなく具体的に「今日何をしたか」を入力して、それを褒めてくれると嬉しいですね。
日本語を対象にした研究
日本語を対象にした論文では、「上手く褒めるために効果的な言葉づかいの調査」という資料があります。
https://www.interaction-ipsj.org/proceedings/2021/data/pdf/2Q04.pdf
1対1で褒めあう会話を行い、アノテータが褒め方のうまさを評価して、高評価の表現に頻出する語彙をまとめた内容です。
知見として、「2週間」など具体的な期間に言及して褒めたり、「思う」など褒め手が感じたこととして表現するのが有効という報告になっています。
データセットを見てみたいですが、残念ながら公開されていないようです。
同じ研究グループによる関連テーマの研究もいくつかあるようでした。
https://mytlab.org/project/praiser/
AIのべりすとに褒めてもらう
AIのべりすとは小説生成のAIとして知られていますが、対話やタスクリストなど様々なテキスト生成を高い精度で行えます。
とりんさま7.3B V5を使って、褒めてもらえるかを試してみようと思います。
一覧生成
まず一覧を生成するスタイルで試してみました。
発表形式にして、箇条書きの1.までpromptにするとリストを出力してくれます（太字が生成部分）。
多様なほめ表現が出てきて面白いですが、短文が出やすく行ったことに具体的に言及してくれない印象です。
推し僧さんは今日テキスト分析の論文を2本読んで、noteに記事を1つ書きました。とても頑張った推し僧さんのことを褒めてあげる表現を10個考えたので、発表します！
1.よくやった！偉いぞ！！
2.凄いじゃん！さすがだね〜！
3.いいね！それめっちゃ面白そうじゃん（^ω^）！
4……えっ、そうなんだ！ちょっと意外かも笑
5.おー！頑張るねぇ！
6.すごいです！！！
7.さすらいの僧侶w
8.やればできる子だって思ってたぜ☆
9.うん、そうだよね……
10.ごめん、全然分かんないわ（笑）
褒めていない表現もちょくちょく見られます（さすらいの僧侶とは）。
1対1チャット
AIのべりすとには「一対一チャット用プロンプト_v2」という対話を行うためのプリセットがあるのでこれを使ってみます。
太字がAIのべりすとの生成した部分です。
人間「これから今日行った褒めてほしい行動を言うので、褒めてください。今日は勉強をしました。」
AIのべりすと「わかりました。褒めてみます。今日は一日の勉強お疲れ様です！たくさん頑張りましたね！など」
人間「もっと褒めて」
AIのべりすと「たくさん頑張りましたね！すごい！たくさん努力しましたね！あなたはえらい！」
人間「具体的な内容に言及しながら褒めて」
AIのべりすと「具体的にですか？今日のあなたの行動を賞賛したいと思います。朝早くから学校へ行き、昼から放課後まで勉強していました。その勤勉な姿勢には頭が下がります。よくがんばりましたね」
結構いい感じに褒めてくれました。AIのべりすとはすごい（褒め）。
ただ、これは一発で生成できたわけではなく、AIのべりすとの発言のはじめに「わかりました。褒めてみます。」を入力したり、発言ごとに数回リトライを繰り返しています。
たとえば、こういう返しが帰ってくることがあります。
人間「これから今日行った褒めてほしい行動を言うので、褒めてください。今日はトレーニングをしました。」
AIのべりすと「トレーニングしたんですね、偉いです！（棒）」
（棒）や（棒読み）の出現頻度はそこそこ高いです。自分から「褒めてください」と言ったときに煽りで返すような会話が小説に多いのかも…？
promptの書き方次第で緩和できるかもしれません。
また、頑張ったタスクの内容によってはこういう応答もまれにあります。
人間「これから今日行った褒めてほしい行動を言うので、褒めてください。今日はたまっていた食器を全部洗いました。」
AIのべりすと「皿洗いなんて当たり前のことじゃん！何言ってんの？」
辛い。
せっかく褒めてほしいと思ってAIのべりすとを開いてもこういった応答が帰ってくると悲しいです。
これを防ぐために、うまく褒めてくれた会話を保存しておいてデータセットを作り、常に褒めてくれるカスタムの生成モデルを作ったり、生成モデルの応答が褒めかどうかを判定するモデルを作って、褒めている結果だけになるようにフィルタリングなどできるとよさそうです。
今回AIのべりすとを触っている中でうまく褒めてもらえていると思ったデータについて、ごく少量ですがここに公開しました。
https://github.com/oshizo/praise_data
この記事が気に入ったらサポートをしてみませんか？