ChatGPTが馬鹿になった疑惑がいまだに燻っている件

以前、「ChatGPTに与えられる強化学習はChatGPTをバカにさせる？」というNoteを書いたがいまだにその件がTwitterで語られています。

ChatGPTナーフ疑惑の背景

「ChatGPTのナーフ疑惑」というフレーズは、ChatGPTのパフォーマンスや能力が意図的に制限（ナーフ）されているという疑惑をさしており、ユーザーが以前のバージョンのChatGPTと比較して、新しいバージョンのChatGPTが以前ほど洗練された回答を提供しないと感じた場合に生じます。

ナーフの語源は？

"ナーフ"という言葉は、ゲームのコミュニティでよく使われるスラングで、特定のキャラクターや能力が開発者によって意図的に弱体化されることを指します。英語ではそのまま"Nerf"と書きます。

この言葉は、元々はHasbro社の製造する"Nerf"ブランドの玩具から来ています。これらの玩具は、子供が安全に遊べるように設計されており、例えば"Nerf"のガンから発射される弾は、柔らかい素材でできています。そのため、"Nerf"という言葉が、ゲーム内のキャラクターや能力が弱体化されることを指すようになりました。

ChatGPTのパフォーマンス低下とコンテンツ制限の影響

いくつかのGPT関連のsubredditを見ると、多くのユーザーがChatGPTのパフォーマンスが低下したと感じていることが明らかです。これらのユーザーの多くは、OpenAIによって新たに設けられたコンテンツ制限の前のChatGPTのレスポンスの開放性を指摘しています。
OpenAIは、暴力、人種差別、ヘイトスピーチなどの悪質な行動を防ぐためにさまざまなフィルターをテストしています。しかし、これらのフィルターはしばしば、フィクションの執筆、アイデアのブレインストーミング、その他の自由な発言などの正当な使用例に干渉することがあります。

ChatGPTのパフォーマンスについての多くの観点

1. 倫理ポリシーの制限: OpenAIは悪意のある行動、例えば暴力、人種差別、ヘイトスピーチなどを防ぐためにさまざまなフィルターをテストしています。しかし、これらのフィルターは、フィクションの執筆、アイデアのブレインストーミング、その他の自由な発言など、正当な使用ケースに干渉することがあります。

2. トークン制限: トークンはGPTのようなLLM（Large Language Models）が使用する基本的なテキストユニットです。トークン制限に達すると、ユーザーはChatGPTの応答が途切れる経験をします。これは単にChatGPTに「続ける」と入力することで修正できることが多いですが、これらの制限は他の問題を引き起こすことがあります。

3. 応答速度: ChatGPTの応答速度が遅いという批判もあります。特に多くのユーザーがログインしているときには、ChatGPTのテキスト生成時間が遅くなることがあります。

4. ChatGPT Plusの改善: OpenAIがChatGPTの無料版だけを提供していたときには大きな問題ではありませんでしたが、現在ではChatGPT Plusがあり、ユーザーにAIモデルへの改善されたアクセスを約束しています。

OpenAIの公式見解 - 倫理ポリシーとパフォーマンス

OpenAIの創設者であるSam Altmanは、ポリシー制限がユーザー体験に干渉することを認めています。Altmanは、OpenAIのChatGPTポリシーガイドラインをバイパスするために使用されるジェイルブレイクプロンプトなどのプロンプトハッキング方法を指摘しています。

OpenAIは、モデルと計算制約のため、ChatGPTが記憶したり出力したりできる文字や単語の数には一定の制限があると説明しています。これらのトークン制限は頻繁に変更されますが、一部のChatGPTユーザーは、OpenAIが高需要の期間中にサービスへのアクセスを制限する可能性があると示唆しています。

進化の道程

ナーフ疑惑が持たれる中、最近のアップデートではChatGPT Plusユーザーが3時間ごとにGPT-4モデルを使用して最大50のメッセージを送信できるようになりました。また、Custom instructionsの設定ではユーザーのプロフィールをあらかじめ設定する事で人物像を把握してチャットをしてくれるように進化しました。その様子はこちらにNoteしました。

また、Code Interpreterにおいてもパフォーマンスのナーフ化は筆者が体感していないのは、下記のNoteを見て貰えばわかってもらえると思います。