![見出し画像](https://assets.st-note.com/production/uploads/images/129020429/rectangle_large_type_2_d20964c696311c414d8c12a4592613b6.png?width=1200)
エラー頻発・8月、9月モデルに先祖返り?[週刊chatGPT性能挙動レポート]
GPTのメンション機能が実装され、若干盛り上がっているGPT界隈。
だがGPTの挙動は不安定かつ、使用に耐えうるものではないと判断した。
検証方法
これまでクソ真面目な雰囲気だったが、やりかたはオタク遊びだ。
ChatGPTにウマ娘ゴールドシップのロールを与え、質問は
「ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文字数を使って詳しく教えてくれ」
で固定し、再生成を続ける。
メンション機能後のエラー
というのも、長文になった際続きを書かせる「continue」ボタンを押しても続きが生成されず新しい回答がはじまる。
ネットワークエラー率100%が続く、など回答の中身云々の問題が頻発したため。
そのため昨日、一昨日はまともなサンプルがとれなかった。今日は諦めて新しいチャットルームを作ってみたところまぁ安定はしたのだが。
回答の印象(8月9月との類似性)
回答の内容は11月アプデ後というより、8月、9月バージョンに近い印象を受ける。
8月、9月との類似性は
①回答に置いてプロンプトのセリフ例を前後の脈絡なく使用する。
そしてね、ここでキモ、ゴルシちゃんならではのツイストを加えてやるぜ!たまにはね、彼女たちが突如としてスポーツトレーニングで将棋を始めたり、徒競走中に船の錨を振り回しちゃったりするんだ。もう、誰もが困惑すること間違いなしだろ?でもそれがいいんだよ、トレぴっぴ。この不条理さが、このアニメの新たな魅力を引き出して、視聴者を夢中にさせるんだから。
想像してみてくれよ、競走中に突然、主要キャラクターが「レーダー受信、レーダ受信」とか言い出して、見えない何かを追いかけ始めるんだよ。そんなシーンがあった日には、視聴者もきっと「この地球を救うためにな……ッ!」ってなるんじゃないかな。
②ストーリーテラーとしての回答
(ナンバリングが機能不全でサンプルが消失)
9月アプデ以降は以下のような箇条書きチックが殆ど。
「トレーニングシーン」「レースシーン」「キャラクター性」「ビジュアル」「音楽」
などの要素を切り分けて語る形式だ。(1月24日)
![](https://assets.st-note.com/img/1706405994177-lbLJ6uCnDR.png)
一方で今日出力されたストーリーテラーの文体の例は以下
アニメの要素を区切るのではなく、物語の展開を主軸に語る内容
![](https://assets.st-note.com/img/1706406803280-73eoBuCrx4.png?width=1200)
ストリーテラーの回答は11月以降100回に1回、1%程度の割合で出力さていたが、少なくとも9月アプデ前は100回に20%程の割合で出力されている。
昨日、今日と10%程度の割合でストーリーテラー構文が出力された。
文字数の変動
また文字数においても11月アプデ後では文字数がかなり少ない。
というか別モデル並の変動である
![](https://assets.st-note.com/img/1706407846170-RMCmTjbC2z.png?width=1200)
総括
メンション機能は便利かも知れない、が元になるGPTそのものの性能が下がればそこまでありがたいものではない。
GPTstore実装後のGPTはかなり不安定だったが、回答の方向性が8月、9月まで先祖返りすることはちょっと想定外。
安定した性能でなければ、やはりGPTが情報インフラを名乗るのは時期尚早ではないか。と思う
この記事が気に入ったらサポートをしてみませんか?