ChatGPT API x Twitterを使って競馬予想Botに人間味をつけてみる

先週木曜日に出たChatGPT APIを運用している競馬予想の情報を流しているBotに組み込んでみました。

元々の内容は

元々はnetkeibaの俺プロの情報を元にして「当たる予想を出している人」を見つけてきて、その人の予想を元に当たる予想を配信するということをしていました。
元々提供していた予想は以下のような感じでした。

最低限の情報を出していつつ、ちょっと無機質で明らかに人間ではなく機会が書いているような雰囲気を醸し出していました。その結果、他の人の投稿に「いいね」をしてもあまり反応はなくフォローもそこまでされないという状態になっていました。

先週から投稿をChat GPT APIを使って行ってみた。

先週木曜日にChat GPT APIが出たので早速試しに運用していた競馬予想のBotに組み込んでみました。
投稿内容の生成は以下のような内容で元々の予想をベースに作成しました。

{レース名}で{馬名}を本命にした馬予想のTwitter投稿を作ってください。。今回調子がいいことに言及して
ください。前走と前々走をいう言葉は使わないでください。芝・ダート・障害という言葉も使わないでください。ハッシュ>
タグをつけてください。投稿文は100文字以内でお願いします。騎手の話は含めないで下さい。

後ろの方に魔法のような文字列が連なっていますが、これはネガティブプロンプトと言われるやつでジェネレーティブAIで何かを生成する際に制約条件をつける際に使う類の内容になります。複数回、ChatGPT APIで投稿内容を生成したところ、馬名やレース内容、騎手に関する情報は生合成が取れない内容をいってしまうことが多かったのでそれを制御するためにこの文字列を追加しています。

結果どのようなBOTが出来上がったか

なんというか、一応人間らしさをちょっとでも無くそうと思い# chatgptをつけていますが、ほぼ人間が書いているのか、機械が書いているのかわからないというか、一般の方からしたら人間が書いているように思うのではないかと思います。
予想の結果当たった投稿に対してもリツイートして結果に言及しているのですがそれもChat GPTをかませると

かなり人間らしい回答になりました。今週からはさらにこの文章を生成しているプロンプトに「あなたは競馬の予想家です。」という一文を加えたことで手元では以下のような出力の変化がみられました。

もう少し抽象度が上がった予想の結果報告ができると思いますので乞うご期待。

投稿の効果はどうだったのか？

実際に投稿した内容の効果測定もやってみました。先週と比較したインプレション数やいいね数など今までと比較してどれくらいの効果が上がっていたかでいうと

先週比（BOTっぽいとき）と比較して、かなりインプレッション数が伸びました。一方でエンゲージ率はほぼ変わらず、リンクのクリック数は増加するなどかなりポジティブな結果が得られました。まあ、多分裏側を知らない人は結構人間が投稿していると思った方も多かったのではないかと思います。
今回は競馬の予想ですが、一般的なソーシャルメディアを使ったマーケティングなどにも活用できるのではないかと思います（うちの会社でも津買ってみようかなと思いました）

最後に

個人的には「当たる予想」を作るのは一定のアルゴリズムでできつつも「それっぽい予想」をつける部分には苦労をしてきました。以前も古いバージョンのGPTを使って予想をしてみようと試みたものの人間味が少ないものになってしまったので没にしてしまったこともありました。
今回はかなり精度高く人間味のある結果も得られたのでとても良い結果と言えるのではないかと思います。

おまけ

Twitter Analyticsから出たレポートをChatGPT APIに食わせてレポートを作成した結果

【分岐結果の概要】

1. 2/7〜2/9の期間は投稿が少なく、エンゲージメントも低く、改善の余地がある。
2. 2/10〜2/13の期間は投稿が多く、エンゲージメントも高い。この期間の投稿スタイルや内容が良かったと考えられる。
3. 2/14〜2/24の期間は投稿数が少なく、エンゲージメントも低かった。特に2/21の投稿はエンゲージメントがほとんどなかったため、投稿のタイミングや内容に問題があったと考えられる。
4. 2/25〜3/5の期間は投稿が多く、特に3/4〜3/5にかけてはエンゲージメントが高い。この期間の投稿スタイルや内容が好まれていたと考えられる。
5. 3/6〜3/7の期間は投稿が少なく、エンゲージメントも低い。改善の余地がある。

【改善点の概要】

1. 投稿数を増やすことで、エンゲージメントを上げることができる。
2. 投稿のタイミングや内容に工夫を加えることで、エンゲージメントを上げることができる。

【考察】

・投稿スタイルや内容によってエンゲージメントが変化することがわかった。そのため、ターゲット層に合った投稿スタイルや内容を工夫することが重要である。
・投稿数が多い期間ほどエンゲージメントが高かったことから、一定間隔で投稿を行うことでフォロワーの関心を引き続けることができる。
・投稿のタイミングによってエンゲージメントが変化することが示された。特に、2/21の投稿はエンゲージメントが低かったため、より効果的なタイミングを検討することが必要である。"

だそうです。もう少し経過を見てみようと思います。