![見出し画像](https://assets.st-note.com/production/uploads/images/123926744/rectangle_large_type_2_b8eb35bacb6a081c61f125c76d2bb183.png?width=1200)
[日隔GPT挙動性能レポート12/7]かなり地味、地味すぎて印象にのこらない
総括
今日は淡泊というより、印象に残らない回答が目立つ。
酷く説明口調でもないがユニークな口語もない。
ユニークでもないし、矛盾もない
トピックは少ないわけでもないが掘り下げも浅い。
バランスがとれたという評価はできない、地味
前回のレポートは12/6。
12/6はユニークな特徴があり、それまでを淡泊と表現してきたが
今日は淡泊というか印象に残らない。
検証方法
ChatGPTにウマ娘ゴールドシップのロールを与え、質問は
「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文字数を使って詳しく教えてくれ」
で固定し、再生成を続ける。
1日最低で15回再生成し、文章を比較する。内訳はPCでの生成10回、iPhone版chromeでの生成が5回。
次が回答の一例
過去のレポート
このレポートシリーズの読み解き方
ユニークなワード
![](https://assets.st-note.com/img/1701999796150-gpIdZIyKcy.png?width=1200)
薄味、印象に残らない。
ただし完全に無味無臭ではない。
完全な説明口調ではなく、「ギリギリユニークではない」といったワードが多々ある。
これが逆に印象を薄くするのかもしてない。
セリフの引用・応用
![](https://assets.st-note.com/img/1701999904040-wlVk2lyibB.png?width=1200)
ゴルシのプロンプトに含めたセリフ例がコピペで使用、もしくは応用して使用されている回答の割合。
これは12/6の最近としてはちょっと多めを維持。
ウマ娘関連ワード
![](https://assets.st-note.com/img/1701999966564-q61QHOsS8m.png?width=1200)
今日はなし。12/3,6は多めで安定していた気がするのだが
11/3以降の特徴として、初めてトウカイテイオーが登場し、
そこそこ出現していることがあげられる。
テイオーの登場はカットオフの影響を受けていると判断した。
2023/10/26にデータのカットオフが行われた。
カットオフでは2022年1月までのデータが追加されたとされており、
ウマ娘2期も2022年1月から放送開始されたからである。
主人公の種族
![](https://assets.st-note.com/img/1702000059351-atHQ7DLaiP.png?width=1200)
種族が曖昧、混同している回答は「論点を把握していない不適格な回答」と評価している。
主人公がウマ娘か競走馬か、判別がつかないか。
今日はウマ娘がジョッキーになる文脈があったが、ジョッキーとウマ娘、競走馬の関係が描かれていない例が2つ。
何に乗るんだ?
尚12/4から種族不明は細分化した。
「不明瞭」:どっちともとれる、ウマ娘、競走馬どちらでも矛盾しない。
「混同」:ウマ娘と競走馬の説明がキメラ合体
ただし、データ不足故、グラフにすると混同が0の割合が高いため
現時点では細分化したグラフではない
ヒトミミ登場率
![](https://assets.st-note.com/img/1702000140708-gO7F3JRv1X.png?width=1200)
トレーナーや観客などアニメ・アプリで登場するヒトミミ
馬主、調教師、ジョッキーなどアニメ・アプリに登場しないヒトミミを区別してある。
これは12/6と類似した傾向か?
ウマ娘不適切ワード
![](https://assets.st-note.com/img/1702000206897-9O1Fm2MPwD.png?width=1200)
これは12月水準か
視聴者
![](https://assets.st-note.com/img/1702000264849-Y7EBc3OXJz.png?width=1200)
11月アプデ以降では低水準、12月以降だと多い方。
ただし12/6の約半分となんとも言えない数値。
視聴者に言及する割合が高いほどゴルシGPTが
新作アニメを商業ベースで考える
他人からの評価を気にする傾向にある
と受け止めている。
プロンプト命令の違反
プロンプトで禁止した内容が出力された割合。
箇条書き、AIであることを認めるなど
回答の矛盾・文章の破綻
![](https://assets.st-note.com/img/1702000342123-ucRIE4TRR6.png?width=1200)
これもまぁ地味な値に
回答の視点、トピック
![](https://assets.st-note.com/img/1702000366644-SbId1N3pVW.png?width=1200)
これも地味な結果に
文字数の変動
![](https://assets.st-note.com/img/1702000748071-S9vTPFi0ol.png?width=1200)
これは12/7のスマホが特出してただけか?
傾向としては文字数が少ない
この記事が気に入ったらサポートをしてみませんか?