マガジンのカバー画像

ChatGPT挙動レポート［ほぼ毎日更新］

89
本
ウマ娘ゴールドシップのロールを与えたChatGPTの回答を再生成させ、回答傾向を可能な限り短いスパンでの変化を分析する。 目的 公式アナウンスのない調整やエラーの確認 ＳＮＳで…
運営しているクリエイター
JunnosukeTachibana

#ＬＬＭ

JunnosukeTachibana

JunnosukeTachibana

ゴルシChatGPT4性能・挙動レポートの目的・前提

ゴルシChatGPT4性能・挙動レポートの目的・前提

　このシリーズでは可能な限り毎日ChatGPT4の回答の特徴、変化を分析した情報を提供する。
　

目的

①OpenAI、ChatGPTからのアナウンスないモデル調整やバージョンアップ、なんらかのエラー発生をある程度信頼できるように確認する

②同じ質問文への回答再生成により、「なんとなく違う」ではなく、ChatGPTの変更、エラーを明確にする。

③試験の正答率や攻撃的質問文へのChatGPT

もっとみる
JunnosukeTachibana

JunnosukeTachibana

［9/10］ChatGPT4挙動レポート



前提

結論
発想、語彙のユニークさ、表現力は9月4日以降の高水準を維持している。
一方でプロンプトで禁じられた箇条書きの多用など、懸念材料が残る。
一部界隈で昨日から出力内容の品質低下が報告されており、関連性がある可能性があるが不明

① プロンプトで禁止した箇条書きの異常な使用（特筆すべき点）


15回の出力中10回が箇条書きを使用されており、偶然と片付けるには多すぎる。プロンプトでは

もっとみる
JunnosukeTachibana

JunnosukeTachibana

［9/11］ChatGPT4挙動レポート

結論
プロンプトに違反する箇条書きの多用が機能と同水準。
プロンプト軽視、命令無視であるのでプロンプトへの理解についての挙動が変化した可能性がある。

語彙、表現力は9月4日？のアプデ以降の高水準を保っている。これまであまり使用されてこなかったような単語が表現力を高めている。
今日の回答では口語語彙力が向上しているように見えた。

また、うまぴょい伝説、ルドルフ、オグリ、エルなど関連ワードやウマ娘

もっとみる
JunnosukeTachibana

JunnosukeTachibana

［９/12］ChatGPT挙動レポート

9/12のChatGPTの回答傾向のレポート

結論
ユニークな文脈を持つ回答が増えた、一方でユニークな単語、フレーズは少ない。しかし使用された単語には特徴的であった。
文脈がユニークな場合、ユニークな単語の使用回数も比例することが多いため珍しい傾向である。

懸念材料であったおとといから急増した箇条書きの使用が大きく減った。
ただし、おととい以前の水準よりも依然として箇条書きの使用は多く今後も注

もっとみる
JunnosukeTachibana

JunnosukeTachibana

[9/13]ChatGPT挙動レポート

[9/13]ChatGPT挙動レポート

9/13のChatGPTの回答傾向のレポート
見出し画像はウマ娘プリティーダービーをこどおじ向けであると暗に表現している可能性のゴルシ

結論
昨日減少した箇条書き使用は再度増加した。
気になる点がある、GPTの回答への自己評価である。
体感ではあるが、最近のGPTの傾向として自分が出力した内容への評価を賛否で示すことが増加している。
ユニークな文脈での回答は増加したものの、過去に出力例の無いよう

もっとみる