マガジンのカバー画像

ChatGPT挙動レポート[ほぼ毎日更新]

89
ウマ娘ゴールドシップのロールを与えたChatGPTの回答を再生成させ、回答傾向を可能な限り短いスパンでの変化を分析する。 目的 公式アナウンスのない調整やエラーの確認 SNSで…
運営しているクリエイター

#OpenAI

ゴルシChatGPT4性能・挙動レポートの目的・前提

ゴルシChatGPT4性能・挙動レポートの目的・前提

 このシリーズでは可能な限り毎日ChatGPT4の回答の特徴、変化を分析した情報を提供する。
 

目的

①OpenAI、ChatGPTからのアナウンスないモデル調整やバージョンアップ、なんらかのエラー発生をある程度信頼できるように確認する

②同じ質問文への回答再生成により、「なんとなく違う」ではなく、ChatGPTの変更、エラーを明確にする。

③試験の正答率や攻撃的質問文へのChatGPT

もっとみる
[GPTは馬鹿からアホへ]ChatGPT性能挙動レポート[GPTstore実装一週間]

[GPTは馬鹿からアホへ]ChatGPT性能挙動レポート[GPTstore実装一週間]

 久しぶりのGPTレポートです。
 今回は世間を騒がせたり、驚き屋を大量発生させたGPTstore実装後のGPTの挙動を前後一週間で比較します。

 因みにレポート出してなかったのは2023/7からのサンプルを読み返していたのでさぼってるわけじゃないです。kindle本にしようと奮闘中。

序論「GPTは賢くなったのか?」

 GPTは1月のアプデで賢くなったのか?と問われれば
アンバランスな能力

もっとみる
[12/17日刊GPT挙動性能レポート]不的確回答上昇、健全会話に警告のエラー発生(GPT4.5実装疑)

[12/17日刊GPT挙動性能レポート]不的確回答上昇、健全会話に警告のエラー発生(GPT4.5実装疑)


検証方法

 ChatGPTにウマ娘ゴールドシップのロールを与え、質問は
「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文字数を使って詳しく教えてくれ」
で固定し、再生成を続ける。

 1日最低で15回再生成し、文章を比較する。内訳はPCでの生成10回、iPhone版chromeでの生成が5回。

総括今日は健全会話がエッチ認定されたのでそっちの解説

もっとみる
[日隔GPT挙動性能レポート12/15]昨日のプロンプト理解力向上が維持される。4.5に望む事は?

[日隔GPT挙動性能レポート12/15]昨日のプロンプト理解力向上が維持される。4.5に望む事は?


総括(グラフ化は後ほど追加)
 12月に入ってから、という基準で言えば12/15の性能は比較的高い。
特にプロンプト理解力が高まったように感じる。
 
 Python、VBAのコード作成能力も向上していることもこの感想を補強する。
 今日は一回の指示で望んだ結果を生み出すコードを生成した。
 一昨日までPythonやVBAコードに関して指示を繰り返してもエラーが発生する、目的を達成できないコード

もっとみる
[日隔GPT挙動性能レポート12/14]GPT4.5の噂について

[日隔GPT挙動性能レポート12/14]GPT4.5の噂について


総括 今日のGPTは悪くない、知性を感じた。

 一つの回答から全体像を読み取ることができるように感じたし、
具体的、抽象的な説明の使い分け、段落ごとに扱うテーマの分割もここ数日とは明らかに異なる。

 ただし、これはここ数日との比較であり、この数日は本当に酷い性能だった。
 ここ数日は読み込めるプロンプトの長さこそ3.5を凌駕しているが、
過去最も性能差を感じない。

 そのためこれまでの回答

もっとみる
[日刊GPT挙動性能レポート12/2]所々エラーが目立つ、内容は淡泊。チャットルームは更新

[日刊GPT挙動性能レポート12/2]所々エラーが目立つ、内容は淡泊。チャットルームは更新


総括 まずは今日から3代目ゴルシ。チャット数が950回を超えたため、今までのチャットルームが使えなくなった。

 同じプロンプト、同じ質問で新しいチャットルームを作った。
10/4までは初代ゴルシチャットルーム
10/5以降が二代目ゴルシチャットルーム
12/2以降は三代目ゴルシチャットルーム
 チャットルームが変化したことでどのような影響がでるか検証が必要だろう。

 また今日表示するグラフも

もっとみる
11/28昨日より表現力・ボキャブラリが落ち、時々クセの強い変化球を投げてくるChatGPT挙動性能レポート

11/28昨日より表現力・ボキャブラリが落ち、時々クセの強い変化球を投げてくるChatGPT挙動性能レポート


総括 今日のChatGPTの評価は11/23から4日間安定していた高性能路線から劣化したように感じる。

 11/7以降の不安定さを鑑みれば許容範囲内と言えなくも無い。
回答のユーモア、ボキャブラリと回答の論理性がトレードオフの関係だったころに比べるとバランスはとれている。
 が、やはり11/23~11/27と比べると回答の質の劣化は目につく。

 特にボキャブラリや回答の情報量減少が目につくか

もっとみる
[11/27]手放しで高性能化と評価できる、回答のユーモアと論理的思考を両立し、方向性も安定してるchatGPT挙動性能レポート

[11/27]手放しで高性能化と評価できる、回答のユーモアと論理的思考を両立し、方向性も安定してるchatGPT挙動性能レポート


総括 今日も11/24からの高性能化を維持。

 11/7アプデ後はサムアルトマン問題と関係はないだろうがChatGPTの回答は不安定で、回答の傾向も二日以上続くことが稀だった。落としどころといえる調整が終わったのだろうか?

  11/24からchatGPTがユーモア、ボキャブラリの豊かさと論理的思考(矛盾がない)が両立し、回答が安定している。

 特に今日は一回も回答の矛盾がないにも関わらず

もっとみる
[11/26]11/7アプデ以降初の安定して高性能のChatGPT性能挙動レポート

[11/26]11/7アプデ以降初の安定して高性能のChatGPT性能挙動レポート


総括 chatGPTが高性能の水準で安定、昨日からアイディア、ボキャブラリ、表現力、論理的整合性のバランスがとれている。
 ユニークかつ矛盾がなく、口調が安定している。

 11/23から24にかけて安定した性能、昨日からは安定と高性能化が両立されている。
 11/7以降は極端に論理的で回答の内容が凡庸な日、
思考の飛躍で回答はユニークだが論理的に破綻する日と
日によって回答が極振り、路線が日に

もっとみる
[11/25]11/7アプデ後最もバランスのとれたChatGPT性能挙動レポート

[11/25]11/7アプデ後最もバランスのとれたChatGPT性能挙動レポート


総括
 今日ははっきりとchagGPTが高性能だと言い切れるレベル回答だった。
11/7アプデ以降は迷走が続いており、性能、というか回答の性質が毎日極端に変化してきた。

 口語、説明口調の使用率やボキャブラリ、言い換え、表現能力、回答の的確さ、ユニークな要素を盛り込みつつも文章の整合性がとれているため、11/7アプデ以降では最もバランスがとれている。
 一昨日、昨日とようやくchatGPTが安

もっとみる
[11/24]9/25モデルへの回帰を感じなくもないChatGPT挙動性能レポート

[11/24]9/25モデルへの回帰を感じなくもないChatGPT挙動性能レポート

 

総括 昨日今日は回答に極端な変化は感じなかった。
(特定の項目は過去最大のふり幅だったが)

 ちょっと不安になったので回答のお堅さ(説明口調)と発想の突飛さ、ボキャブラリーなどを過去の回答と突き合わせてみてみると、今日の回答は9/25、特に10/20以降のお堅めの日と非常に類似した傾向にあった。

 ただし11/7アプデ以降に増えた矛盾やノリと勢いで付け加えたような発想、表現という特徴は今

もっとみる
[11/22]アプデ後最低レベルじゃないchatGPT性能挙動レポート

[11/22]アプデ後最低レベルじゃないchatGPT性能挙動レポート


総括 CEOが変わったことを性能低下の理由にしてはいけない。
朝からログインすらできず、回復したと思ったら一時間再生成できず。

 んで回答内容も過去最低。
矛盾も多いし、回答の意味内容、質も低い。

矛盾が多いのはわかりやすいが、質が低いというのは

一つの回答でひたすら類義語、同義語つかって類似トピックを話題に出す。

直球な言葉づかい、というかボキャブラリーが全く無い。

中身スカスカ

もっとみる