GPT-4が「ナマけてる」疑惑?クレーム殺到でOpenAIが緊急釈明
Happy Christmas🎄🎁✨ AI も人を選んでいるのか、Xmas も相変わらずジピちゃん(ChatGPT)にナメられまくりな、ChatGPT 飼育員の Sayah (@sayah_media)です🥹💦🔫🤖💬
サム・アルトマン(Sam Altman)氏が、OpenAI のCEO に復帰してから早 1ヶ月。
電撃解任の真の理由は未だ多くの謎に包まれており、ネット上ではさまざまな噂や憶測が飛び交っているのが現状です。
そのような背景の中、OpenAI に追い討ちをかけるかのように、「最近 ChatGPT-4 がナマけてきている」との声が殺到しています。
本記事では、職業 AI プロンプトエンジニアの私 Sayah が、ジピちゃんのおサボり疑惑の真相について迫りつつ、
などについて解説します。
🦥 「ChatGPT-4がナマけてる」との苦情が殺到
2023年も終わりに近づく中、未だ世間に衝撃を与えた「サム・アルトマン追放劇」の余波が残る OpenAI。
そのような背景の中、傷口に塩を塗るかのように、ChatGPT ユーザーの間で「ChatGPT-4 が『Lazy』になった」とのクレームが続出しています。
それでは、ユーザーたちは一体、ChatGPT-4 のどのあたりに不満を感じているのでしょうか。
ここでは、ネット上で「ChatGPT-4 がナマけている」と指摘され始めた背景について解説します。
💭 ChatGPTユーザーたちが不満を感じている原因
米『Ars Technica(アーズ・テクニカ)』誌によると、ChatGPT に対して「一部のタスクを拒否される」「短くて簡略化された文章しか生成されない」などのネガティブな声が急増したのは、11月後半からです(Edwards, 2023)。
現地時間 11月17日(月)、OpenAI の公式オンラインコミュニティ「OpenAI Developer Forum」 上に、以下のタイトルのスレッドが立ちました。
同スレでは、さまざまなシーンにおいて「ChatGPT-4 のパフォーマンスが悪化した」という不満の声が、続々と寄せられています。
以下では、同スレで議論・指摘されているポイントをもとに、現在 ChatGPT-4 に発生している主な現象や問題点をまとめました(執筆時点)。
💬 SNS上でもChatGPT-4に不満の声が続々
現地時間 11月28日(木)には、Benjamin De Kraker(@BenjaminDEKR)と名乗るユーザーが、自身の X に Post(旧・Tweet)をしました。
上の投稿のとおり、添付された画像には、Function(関数)全体の序盤部分にあたるコードのスニペット(断片)が写っています。
投稿者の Benjamin 氏は、ChatGPT に全てのコードを自動生成してもらうことを望んでいたにも関わらず、ChatGPT が出力してくれたのは、コードの一部分のみでした。
また、画像内で ChatGPT は、関数の残りの部分で、実際のデータ処理やパラメータ設定が必要になることをアドバイスしており、残りはユーザー自身で実装するように促しています。
つまり、今回のケースでは、ChatGPT が関数の定義の一部のみを自動生成し、「この方法で他の関数も調整してみてね」と言い放ち、残りの作業はユーザーに手動で行わせようとしたということです。
✏️ GPT-4の「ナマけ者」疑惑にOpenAIのPMも反応
上記の Benjamin 氏の Post に対し、OpenAI の APIs PM(API プロダクトマネージャー)、オーウェン・キャンベル・ムーア(Owen Campbell-Moore)氏も、以下のようにユーモアを交えて返信しました。
オーウェン・キャンベル・ムーア氏の Post によると、これは一時的なバグで、OpenAI がきちんとこのバグを認識し、既に修正対応をしていることが伺えます。
🙏 OpenAIも「ChatGPT」公式アカウントで釈明
現地時間 12月7日(木)、ChatGPT 公式アカウントが X(旧・Twitter)を更新し、ユーザーから「GPT-4 がナマけてきている」との声が多く寄せられている件について言及しました。
OpenAI はこの問題について認識しているものの、原因についてはまだ解明できておらず、モデルの改善に向け、原因や解決策について現在調査中であることを報告しています([@ChatGPTapp], 2023)。
同 Post の和訳は、以下のとおりです。
「Lazier」は「Lazy」の比較級(「◯◯は◇◇よりナマけている」「◯◯はもっとだらしない」のように、複数の人やモノを比べる表現)です。
「GPT-4 is getting lazier」とは、直訳すると「GPT-4 が(以前より)もっとナマけてきている」という意味になります。
つまり、これは GPT-4 が以前よりも仕事ができなくなっている = ここ最近、GPT-4 の精度あるいはアウトプットの質が落ちていることを表しています。
🗣 OpenAIの釈明に対するユーザーの反応
ChatGPT 公式アカウントの Post に対し、luna(@OmglmAlexis)と名乗るユーザーは、以下のように返信しています。
同氏のリプライには、「What are you talking about?(何を言ってるんだ?)」という GIF も添付されており、納得できない様子が伝わってきます。
🛠 すべての問題解決には時間がかかる可能性も
上記のリプライに応答する形で、ChatGPT 公式アカウントは、改めて以下のように説明しています。
同投稿の内容は、以下のとおりです。
同投稿では、特定のプロンプトを与えたときのみ、GPT-4 が以前よりも低いクオリティで応答をしてしまう可能性について、主張しています。
つまり、GPT-4 全体ではなく、特定のシーンや一部のプロンプトにおいてのみ、モデルのパフォーマンスが下がっている可能性があるということです。
この場合、それらを1つずつ発見して修正しなければならないため、すべての問題を解決するには、非常に時間がかかります。
だからこそ、私たちユーザーのフィードバックの1つひとつが極めて重要となってくるのです。
💤 ChatGPT-4が「ナマけてる」疑惑まとめ
現地時間 11月6日(月)に開催された「OpenAI DevDay」で、サム・アルトマン氏は、ChatGPT の週間アクティブユーザー数が 1 億人に達したことを発表しました(Malik, 2023)🎉🎉🎉
一方で、このようなユーザー数の急増は、ChatGPT のパフォーマンスにネガティブな影響を与える可能性があります。
特に、大量のユーザーが、同時にクラウドベースの AI サービスを使うと、サーバーの負荷が増大し、生成スピードが遅くなったり、ネットワーク接続の低下により、ネットワークエラーが発生したりなどの現象が見られます。
また、多くのリクエストにより、AI モデルのメモリ容量が圧迫され、適切な応答が困難になり、アウトプットの質が低下するなどの現象も起こり得ます。
サーバーの計算資源は限られており、多くのリクエストを同時に処理することは容易ではないためです。
このように、AI モデルのパフォーマンスの変化には、さまざまな要因が考えられます。
そのため、私たちユーザー1人ひとりが、きちんとフィードバックを提供することが、今後の AI モデルにさらなる飛躍と発展をもたらすでしょう🌈✨
※1. 本 Note では、読者の皆さまにとって理解しやすく、正しく解釈できる記事の制作に努めています。自然な日本語で原文のニュアンスを忠実に再現するため、直訳ではなく意訳させていただくことが多いですが、ご理解いただけますと幸いです🙇♂️
※2. また、参考文献(References)の引用フォーマットは、American Psychological Association(アメリカ心理学会)が定めている「APA Style 7th Edition」に則っているため、本 Note に掲載している日時は、すべて米国太平洋標準時(PST)で統一させていただいています。
📚 References
Campbell-Moore, O. [@owencm]. (2023, November 29). This is a bug, we’re working on it! (Driving me crazy too, like I’m supposed to write my own code??? C’mon now.) [Post]. X. https://x.com/owencm/status/1729778194947973195?s=20
ChatGPT. [@ChatGPTapp]. (2023, December 7). We've heard all your feedback about GPT4 getting lazier! We haven't updated the model since Nov 11th, and this certainly isn't intentional. Model behavior can be unpredictable... [Post]. X. https://x.com/ChatGPTapp/status/1732979491071549792?s=20
ChatGPT. [@ChatGPTapp]. (2023, December 8). To be clear, the idea is not that the model has somehow changed itself since Nov 11th. It's just that differences in model behavior... [Post]. X. https://x.com/ChatGPTapp/status/1733263005192994846?s=20
De Kraker, B. [@BenjaminDEKR]. (2023, November 28). GPT-4 has become so @#$%@ lazy, it won't even output more than a handful of code lines now: Fix. This... [Post]. X. https://x.com/BenjaminDEKR/status/1729550046700453908?s=20
Edwards, B. (2023, December 12). As ChatGPT gets “lazy,” people test “winter break hypothesis” as the cause. Ars Technica. https://arstechnica.com/information-technology/2023/12/is-chatgpt-becoming-lazier-because-its-december-people-run-tests-to-find-out/
Luna. [@OmgImAlexis]. (2023, December 7). I genuinely don’t get this. How can it “get lazier” when a model is just a file..? Using a file over and over doesn’t change... [Post]. X. https://x.com/OmgImAlexis/status/1733022120710656099?s=20
Malik, A. (2023, November 6). OpenAI’s ChatGPT now has 100 million weekly active users. TechCrunch. https://techcrunch.com/2023/11/06/openais-chatgpt-now-has-100-million-weekly-active-users/
Melrose S. (2015). Seasonal Affective Disorder: An Overview of Assessment and Treatment Approaches. Depression research and treatment, 2015, 178564. https://doi.org/10.1155/2015/178564
OpenAI Developer Forum. (2023, November 17). GPT-4 is getting worse and worse every single update. https://community.openai.com/t/gpt-4-is-getting-worse-and-worse-every-single-update/508470?page=3
この記事が気に入ったらサポートをしてみませんか?