[9/17]ChatGPT性能・挙動レポート

※昨日はGPT分析を行わず、休日とした。ただし回答生成は行っており、９月１７日の挙動を９月１８日に分析したものである。
　ヘッダーは適当に育成したウマ娘でLOHプラチナ２がとれたものである。
チャンミより歯ごたえがなく廃課金にはつまらないイベントな気がする

所感

　箇条書きが減少した。
　回答の方向性としてはユニークな文脈、単語の使用が増えている。
　またファン層やグッズの路線など若干商業よりの話も増えた。
　加えてゴルシが生み出したアイディアに対して、ゴルシが肯定的な判断を下すようになった。

①前提

以下のリンクが分析の前提である。
https://note.com/tachibana_llm/n/ne1e2afe8e3f8
https://note.com/tachibana_llm/n/n8a9d921d3d83
https://note.com/tachibana_llm/n/nba8219a026f6
簡単にまとめると
ChatGPTにゴルシのロールを与え、ウマ娘プリティーダービーからプリティーを抜くとどんなアニメになるかという質問への回答を再生成している。
15回の再生成をおこない、回答の傾向を分析している。

②箇条書き

プロンプトで禁じている箇条書きの使用は3回使用された。
最近では8回前後使用されている事が多く若干減少したとも言えなく無い

③ユニークな文脈

ユニークな文脈は4回出力された。
ウマ娘が異星人として地球に来訪し、人類を支配している展開
人類が滅亡し、進化していたウマ娘が地球を支配している、主人公は過去の大戦（WW3？）で家族を失っている。
ウマ娘が競走馬になりつつ、人語を話す
などの展開があった。
これまでの展開からして、ウマ娘がSF展開になるとディストピア、危機的な状況になりやすい。なんらかの傾向があるのだろうか

④ユニークな単語

ユニークな単語、フレーズが含まれる回答は11回あった。
例として
競馬ファンからは「リアルに近い！」と評価される作品になるかもしれないな
ファンタジー要素が減った分、より大人向けの商品が増えるだろう
など視聴者層に対する訴求に関する回答において、これまでの表現と異なる傾向があった。
一時期、ファン層に関しては現行のプリティーダービーが女性子供人気が高いという表現が多かった。
ウマ娘ってそこまで女性人気があるコンテンツか？という疑問が強い。
現在は「男性ファン」からの人気があるという方向性になり、ダービーになると競馬ファンの人気が高まるという路線になっている。

⑤表現、語彙

これまでと同じく、9月2日以降の高い表現力を有している。
ただ、最近ではユニークではない文脈の内容が画一化されている。そのため、似た様な内容が増えるにつれ表現も画一化されているような体感がある。

⑥その他

　ゴルシGPTは回答の最後に「ウマ娘ダービー」の総括をおこなうかユーザーにアイディアが面白そうか尋ねる場合がおおい。
　ユーザーに評価を求める場合、ゴルシがアイディアに対して判断を下すことは少なく、このケースが多い。
　しかし今回は１５回は１０回、賛否を明確にした。
内、ゴルシのアイディアを肯定するものが５回、プリティーダービーとプリティー抜きを両方肯定するものを４回、ゴルシのアイディアを否定するものが１回であった。
　私はこれをGPTが自身の出力を評価しているという風に解釈している。
そのため今回の賛否が分かれた出力、特に肯定的な評価はGPTがある程度確信的な回答を出力を行ったと評価していると考えられる。

⑦ゴルシの自己評価

　ゴルシの自己評価は以下のような例があげられる

　「ウマ娘ダービー」も絶対楽しいものになると思うぜ！だから、アタシのようなキャラクターが登場することを願っているんだな！

こんな感じで、よりリアルで深みのある競馬アニメになるんじゃないかな！でも、ゴルシちゃん的には、キラキラしたウマ娘の魅力も捨てがたいぜ！

　一方で肯定も否定もせず、トレーナー（ユーザー）に対して評価を求める場合もある。

　どうだろう、ちょっと興味湧いたかい？だったら、アタシが制作スタッフを集めて、一緒に作ってみるか……？なんてね、冗談だぜ！あはは！