マガジンのカバー画像

ChatGPT挙動レポート[ほぼ毎日更新]

89
ウマ娘ゴールドシップのロールを与えたChatGPTの回答を再生成させ、回答傾向を可能な限り短いスパンでの変化を分析する。 目的 公式アナウンスのない調整やエラーの確認 SNSで…
運営しているクリエイター

#コンサル

ゴルシChatGPT4性能・挙動レポートの目的・前提

ゴルシChatGPT4性能・挙動レポートの目的・前提

 このシリーズでは可能な限り毎日ChatGPT4の回答の特徴、変化を分析した情報を提供する。
 

目的

①OpenAI、ChatGPTからのアナウンスないモデル調整やバージョンアップ、なんらかのエラー発生をある程度信頼できるように確認する

②同じ質問文への回答再生成により、「なんとなく違う」ではなく、ChatGPTの変更、エラーを明確にする。

③試験の正答率や攻撃的質問文へのChatGPT

もっとみる
[GPTレポート1/5~1/7]GPTストアアプデ直前のGPT荒ぶりレポート

[GPTレポート1/5~1/7]GPTストアアプデ直前のGPT荒ぶりレポート


ブログ的なサムシング

 明日1/8からGPTストアが実装されるので、恐らくGPT4そのものにもアプデが来るだろうということで久々のレポート。

 毎日レポートをしているとどうしても、驚き屋本に必要なインプット、アウトプットの時間が割けないのでしかたないと割り振り。

 まずアプデ前に性能が乱高下するのはマガジンで何度も説明している。
とその前に過去記事やら紹介

検証方法

 ChatGPTに

もっとみる
[日刊GPT挙動性能レポート12/18]アプデ前特有の動きを確認。GPT4.5実装は本当か?

[日刊GPT挙動性能レポート12/18]アプデ前特有の動きを確認。GPT4.5実装は本当か?

 GPT4.5の噂が飛び交っている、はたしてそれは真実なのだろうか。
私の意見としては
①GPTがアプデ前特有の無告知の挙動変化は確認されている

②アプデを否定する材料が特にない

③GPT4.5が実装されるかは別としてアップデートの可能性はかなり高い

④GPT4.5の実装、機能の追加、既存GPT4のアプデなどのアナウンス今後数日以内になされる可能性が高い

 ちなみに過去の記事でもアプデを予

もっとみる
[日隔GPT挙動性能レポート12/15]昨日のプロンプト理解力向上が維持される。4.5に望む事は?

[日隔GPT挙動性能レポート12/15]昨日のプロンプト理解力向上が維持される。4.5に望む事は?


総括(グラフ化は後ほど追加)
 12月に入ってから、という基準で言えば12/15の性能は比較的高い。
特にプロンプト理解力が高まったように感じる。
 
 Python、VBAのコード作成能力も向上していることもこの感想を補強する。
 今日は一回の指示で望んだ結果を生み出すコードを生成した。
 一昨日までPythonやVBAコードに関して指示を繰り返してもエラーが発生する、目的を達成できないコード

もっとみる

10/24chatGPT性能挙動簡易レポ

今日は9/25のアプデ以降の挙動をばーっとまとめる作業をしたのでnoteは書く気力がないので明日以降記事にするネタをまとめたツイートのリンクを公開しますね。
 今日のみのレポートと9/25バージョンから今日までのレポート二種類です。
どちらも明日noteにする予定のグラフとか貼っているのでご参考までに

今日のみのレポートツイ

 9/25からの普段より長めのの観点からのレポートツイ

https

もっとみる
[クラウドAIなのにデバイスで性能が変わる疑惑]chatGPT性能挙動レポート

[クラウドAIなのにデバイスで性能が変わる疑惑]chatGPT性能挙動レポート

 出先での作業環境が悪く、昨日帰宅し今日から毎日レポートと思いまして今日の出力とゴタゴタした間の情報もデータセットに入れる作業をしていたいたのですがちょっととんでもない結果になりそうなので今日も個別レポートはお休みさせていただきます。

 結論
 スマートフォンのウェブブラウザアプリを通じてChatGPTを使用してもPC版と性能に格差がある可能性がある。
※OpenAI提供のchatGPTアプリで

もっとみる

chatGPT9/25バージョンの感想2

 出先でマトリクス表作れない、キーボード使いにくい環境なのでふわっとした感想になります。

 9/25にchatGPTはバージョンアップしたとアナウンスされましたがまだまだ調整中だろう。
 プロンプトの順守、文字数に対する情報効率、プロンプトの応用能力が大幅に向上したが、回答に含まれるトピックが減り、ブレストの叩き台などの使用目的によっては致命的であると言える。
 
 今日は箇条書きが全く使用され

もっとみる

9/29chatGPT新バージョン感想、性能など

 身内の不幸で六本木駅北800キロの都内試される大地から池袋へ。
 時間がなさそうだし、最近レポート質が下がっているのでお休みしようかと思ったけど時間があり、案外頭が回ったので今日は更新。
 ゴルシプロンプトの挙動は別記事とする。
 今回は9/25の新バージョンと実装前の9/19.20の突発的短期間の性能向上挙動について、8/6の旧バージョンなども含めて考察する。

所感
 これまで近いうちのch

もっとみる