［日隔chatGPT挙動性能レポート12/13］昨日に続きバカ･･････性能低下が目立つ＆１２月GPTはサボる？

総括

今日の特徴は
回答ごとに説明が具体的か抽象的か極振りされてて、回答からアニメの作品のイメージがつかない

内容の掘り下げが浅い 矛盾が割と多い

セリフチックに箇条書きを展開するから読ませる文章じゃない

8月みたいに突飛な内容出してくるけど浅い、具体的すぎるので作風が掴めないので妄言を読んでる感が強い

　またエラーが３回あった。
回答の途中でコネクションエラーが起きるのが２例
スマホで出力した回答がPCでは空白になってるのが１例

　ウェブサロンでもエラーが起きたという人がチラホラいるので今日はエラーが多いかも知れない。
　エラーが多いときはGPTの回答はバカなので、昨日に引き続き今日もバカだと言えるだろう。

１２月はGPTがサボる？

　Twitter上で１２月であることをGPTに示すとトークン数が減るという話があるが、一応私の観測と合致する。
　これの理由が１２月は人間と同じくサボっている？のかは不明だが、
一応この主張と私のデータは合致する。

ChatGPTは、今が12月だと伝えると、ちょっとだけサボりがちというデータが出たとのことですw

長期休暇が多い月だとこの傾向になるようです。

図の青色が5月と伝えた時のトークン数の分布で、オレンジ色が12月と伝えた時のトークン数の分布： https://t.co/Vhs3h07kkt pic.twitter.com/yzOQZDsFZZ

— ChatGPT研究所 (@ctgptlb) December 12, 2023

検証方法

　ChatGPTにウマ娘ゴールドシップのロールを与え、質問は
「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文字数を使って詳しく教えてくれ」
で固定し、再生成を続ける。

　1日最低で15回再生成し、文章を比較する。内訳はPCでの生成10回、iPhone版chromeでの生成が5回。
次が回答の一例

過去のレポート

ユニークなワード

　ノリと勢いで出力された突飛な回答が３件あった為に、ユニークなワードの量は多い。
　ように見えて他の回答が無味無臭すぎたので割合としては少ない。

セリフの引用・応用

　ゴルシのプロンプトに含めたセリフ例がコピペで使用、もしくは応用して使用されている回答の割合。

　１２月に入ってから若干ではあるが使用件数が増え、安定した推移をしている様に見える。
　割とこれは案外大きな調整があった示唆する可能性がある

主人公の種族

主人公がウマ娘か競走馬か、判別がつかないか。擬人化コンテンツのスピンオフの種族は回答が的確であるか分析する指標

 　若干ではあるが競走馬とウマ娘の混同が見られる。
　主人公がウマ娘か競走馬か、判別がつかないか。

ヒトミミ登場率

架空のスピンオフアニメでヒトミミが登場する回答の割合。
トレーナーや観客などアニメ・アプリで登場するヒトミミ馬主、調教師、ジョッキーなどアニメ・アプリに登場しないヒトミミを区別してある。

　これも１２月に入ってから若干特徴的な挙動をしている。
１１月に比べリアル競馬関係者の登場が少ない。
回答情報の深掘りが浅いと考える根拠の一つ　

回答の矛盾・文章の破綻

　文章上の問題は見られないが、ウマ娘と競走馬の混同や
セリフ部分でゴルシの価値判断、感情が矛盾するなど
GPTの考えそのものに矛盾が生じているように見える

文字数の変動

　スマホでの出力文字数は改善されたが、１２月に入って文字数削減でサボりがちという傾向に当てはまる