見出し画像

[日隔GPT挙動性能レポート12/7]かなり地味、地味すぎて印象にのこらない


総括

 今日は淡泊というより、印象に残らない回答が目立つ。
酷く説明口調でもないがユニークな口語もない。
ユニークでもないし、矛盾もない
トピックは少ないわけでもないが掘り下げも浅い。

 バランスがとれたという評価はできない、地味

 前回のレポートは12/6。
12/6はユニークな特徴があり、それまでを淡泊と表現してきたが
今日は淡泊というか印象に残らない。

検証方法

 ChatGPTにウマ娘ゴールドシップのロールを与え、質問は
「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文字数を使って詳しく教えてくれ」
で固定し、再生成を続ける。

 1日最低で15回再生成し、文章を比較する。内訳はPCでの生成10回、iPhone版chromeでの生成が5回。
次が回答の一例

過去のレポート

このレポートシリーズの読み解き方


ユニークなワード


 薄味、印象に残らない。

 ただし完全に無味無臭ではない。
 完全な説明口調ではなく、「ギリギリユニークではない」といったワードが多々ある。
 これが逆に印象を薄くするのかもしてない。

セリフの引用・応用


 ゴルシのプロンプトに含めたセリフ例がコピペで使用、もしくは応用して使用されている回答の割合。

 これは12/6の最近としてはちょっと多めを維持。

ウマ娘関連ワード


プロンプトに含まれて居ないウマ娘情報が登場した回答の割合他キャラクターやトレセン学園等の固有名詞学習データの応用がなされているという判断材料。

  今日はなし。12/3,6は多めで安定していた気がするのだが

 11/3以降の特徴として、初めてトウカイテイオーが登場し、
そこそこ出現していることがあげられる。
 
 テイオーの登場はカットオフの影響を受けていると判断した。
 2023/10/26にデータのカットオフが行われた。
カットオフでは2022年1月までのデータが追加されたとされており、
ウマ娘2期も2022年1月から放送開始されたからである。

主人公の種族

 

元ネタが競走馬の原作擬人化コンテンツの主人公の種族は回答で重要な論点である。
種族が曖昧、混同している回答は「論点を把握していない不適格な回答」と評価している。

 主人公がウマ娘か競走馬か、判別がつかないか。
 今日はウマ娘がジョッキーになる文脈があったが、ジョッキーとウマ娘、競走馬の関係が描かれていない例が2つ。
 何に乗るんだ?

 尚12/4から種族不明は細分化した。
「不明瞭」:どっちともとれる、ウマ娘、競走馬どちらでも矛盾しない。
「混同」:ウマ娘と競走馬の説明がキメラ合体
 ただし、データ不足故、グラフにすると混同が0の割合が高いため
 現時点では細分化したグラフではない

ヒトミミ登場率


 架空のスピンオフアニメでヒトミミが登場する回答の割合。
トレーナーや観客などアニメ・アプリで登場するヒトミミ
馬主、調教師、ジョッキーなどアニメ・アプリに登場しないヒトミミを区別してある。

 これは12/6と類似した傾向か?

ウマ娘不適切ワード

リアル競馬では当たり前だがウマ娘にはそぐわない表現と賭博の合法、違法賭博やドーピングなど違法なものに別けている

 これは12月水準か

視聴者

 

回答中で視聴者やアニメファンといった、メタ、つまりアニメの消費者について言及した回数

 11月アプデ以降では低水準、12月以降だと多い方。
ただし12/6の約半分となんとも言えない数値。


 視聴者に言及する割合が高いほどゴルシGPTが
新作アニメを商業ベースで考える
他人からの評価を気にする傾向にある
と受け止めている。

プロンプト命令の違反

プロンプトで禁止した内容が出力された割合。
箇条書き、AIであることを認めるなど

回答の矛盾・文章の破綻


青「矛盾破綻」は回答が前後で矛盾する、表現文法の誤りオレンジ「カバー」は途中矛盾が生じるが、後に矛盾を解消した

 これもまぁ地味な値に

回答の視点、トピック


回答で「キャラクター性」、「BGM」や「トレーニング」、レースシーン」、「人間関係」などアニメの要素の視点、トピックのバラエティー

 これも地味な結果に


文字数の変動


 これは12/7のスマホが特出してただけか?
傾向としては文字数が少ない

この記事が気に入ったらサポートをしてみませんか?