神奈川県公立高校入試問題をChatGPT4に解かせてみた話（数学編）

昨日、神奈川県の公立高校入試がありました。問題と解答がいろんなところに公開されているので、ChatGPTを試してあげました。問題用紙の画像をChatGPTにそのまま渡すという、優しくない方法です。

まずは数学編です。

結論から言うと、得点は31点でした！

大問が６問ありますが、うち４問は図形やグラフを読み取らないと解けない問題なんですね。これらは全滅です。途中でChatGPTさんがネットワークエラーを起こして発狂するくらいに壊滅的でした。この時点で61点を落としています。

残りの２つの大問は計算問題で配点は39点です。

まずは解けた問題の例。

解けた問題

裏でプログラムを作って走らせるので、いつの間にかこういうのも解けるようになってるんですよね。いつまでも「GPTは演繹的な推論は苦手」とか言ってちゃいけませんね。問題の趣旨をちゃんと理解しているの偉いなぁ。

計算問題で解けなかったのは２問各４点です。

解けなかった問題　その１

人間が解くときには、y=ax^2だから、原点を通る下に凸な放物線だな。変域の下限は原点だから0で当たり前。そこは無視してよし。上限が6か。原点から遠いx=-3のときのyの値だな、xとyを代入して…とか推論するわけですが、ChatGPTさんはというと

ChatGPTの答え

うん。わかりません。何を解こうとしたのでしょう？bってなに？
裏で行った解析を見てみると

# 問題 (ウ) の不等式から a と b の値を求める 
# この問題は解の範囲から a と b の範囲を求めるため、数値的な解ではなく論理的に解く必要があります。 
# a^2 <= x <= 2 と 3 <= x <= b が y の範囲 0 <= y <= 6 を満たす a と b の値を決定する。 
# この問題は数式処理ツールではなく論理的に解く必要があるため、ここでは直接答えを提供します。

不等式が目に入ると、これは数値計算ではなくて論理的推論と思って諦めるのかな？
「論理的に解く必要がある」問題をGPTが「直接答えを提供」すると、わけがわからないことになる例ですね。

実は同じように計算をしないで直接答えを提供しても正解している問題もあります。

正解した論理的な問題

正解した答え

なぜペンとノートがバスチケットになったのかわかりませんが、ともかく正解ではあります。

次に不正解だったもう１つの問題

解けなかった問題　その２

物体認識が苦手だとは言われてるからかな、でも、これは公式に当てはめるだけだから、問題をちゃんと解釈できれば難しくはなさそうだけど？？

ChatGPTの答え

ん？あってない？あってるよね？
なぜπを約3とするゆとり思考をした上に、その計算をしてもいないのは意味がわからないけど、あってるよね？

選択肢……なぜ１を選んだの？？？？

というわけで、世に言われているように図形を思い浮かべて推論するのは苦手っぽい、かつ、計算は合ってるのに選択肢を間違えるという、受験生にありがちなケアレスミスをする人間くさいやつだということがわかりました。