ChatGPTの性能わからん

 以下はChatGPT性能検証の前提記事です。

 昨日から新しいチャットルームを使用したゴルシGPTでの性能検証を始めた。以下は昨日の記事。

 性能検証を始めたはいいものの
「ChatGPTわからん」
というお気持ちが強くなってしまった。スマホへの回答文字数がPCへの回答文字数を上回ったのだ。

 というか回答文字数は以下のような回答の文字数を一個一個カウントし、その平均をもとめたもの、って説明したことあったか?

こうした回答を一回一回メモ帳に張り付けてPythonで文字数をカウントする。
一度メモ帳にコピペするのは面倒だが、あとからPythonなどで処理するとき便利。
PCとスマホの回答文字数の違い
二つの差異に気が付いたのは9月30日だ。
👺気が付くのが遅い!👺

 1075回の出力を行った旧ゴルシGPTではスマホ出力文字数とPC出力文字数は大きな隔たりがあった。
 スマホへの回答が500文字を超えないのに対してPCへの回答文字数は650文字以上、700文字以下と最大200文字近い格差だ。
 私はPCとスマホではGPTの性能……というか性質?が異なると思っていた。

 しかし新チャットルームを開いた昨日はほぼ同数、今日はスマホの文字数がPCを上回った。

 旧チャットルームが使用できないのでこの変更がchatGPTの新しい設定なのか、チャットルームの新設による影響なのかは不明である。

 回答の質そのものも新チャットルームでは変化があった。
特に箇条書きの使用回数は激変した。

箇条書きはプロンプトで禁止している

 なぜ箇条書きの使用回数が目安になるかというとプロンプトで箇条書きの使用は禁止しているため、ChatGPTが明確に命令無視をしたことを示すからだ。
 スマホの使用では箇条書きの使用がないという特徴があるため、スマホだけで検証した0921,0922,0930,1001の使用回数0は参考にならないが、1002以降はPCでの生成が10回だけでもそれ以前の水準で箇条書きを使用しており、使用頻度は上昇した。
 10回で8回の使用など、8割の回答で禁止事項を無視されたことになる。
 しかし昨日のチャットルーム作成後、3回の使用にとどまっている。
偶然の可能性もあるが、新チャットルームの作成による影響も排除できない。
 

 大胆に述べるのであれば、二つの可能性がある。
 一つ目はチャット作成時の設定が継承され、アップデートの影響を受けない可能性。
 これは回答学習データやバージョンアップされるモデル部分ではない、応答の処理を行うフェーズはチャットルーム作成した時点のものが適用されアップデートされない。という予測である。

 二つ目は9/25Vモデルで音声や画像生成などを盛り込んだ際、意図的にスマホへの応答を省エネ化した可能性。
 でもこれはちょっと説得力がない気がする。


いいなと思ったら応援しよう!