マガジンのカバー画像

大規模言語モデル

14
LLMでいろいろ遊んだ記録集
運営しているクリエイター

#ショートショート

ChatGPTに聞いてみた

ChatGPTに聞いてみた

ChatGPTに伺ったところ以下の答えを頂きました

なんかこう、Chat系AIって、一段上から眺める視点に乏しいのよね

主要なLLMへ19個の質問をするベンチマークテストの結果が興味深かった

主要なLLMへ19個の質問をするベンチマークテストの結果が興味深かった

質問4

正しい答えは1

興味深いのは、テストしたLLM全部、不正解(GPT-4でさえ)
そして私も不正解w

そこでChatGPTで少し意地悪な会話をしてみた。その結果

この回答にはいろいろと考えさせられる

1)まず、「1」と正答できなかった理由を聞いても、まともに回答できていない(ほとんど同語反復)
2)間違った答え「2」を、正答と間違って教えた場合、確かにそれを拒否するけど、その拒否理

もっとみる