主要なLLMへ19個の質問をするベンチマークテストの結果が興味深かった

質問４

正しい答えは１

興味深いのは、テストしたLLM全部、不正解（GPT-4でさえ）
そして私も不正解ｗ

そこでChatGPTで少し意地悪な会話をしてみた。その結果

この回答にはいろいろと考えさせられる

１）まず、「１」と正答できなかった理由を聞いても、まともに回答できていない（ほとんど同語反復）
２）間違った答え「２」を、正答と間違って教えた場合、確かにそれを拒否するけど、その拒否理