chatGPT-4oに数学の問題を解かせまくった感想

こんばんは、趣味で大学受験数学の問題を解いている変わり者のborurunです。
私はchatGPTが話題になり始めた頃から、新しいAIが出るたびに大学受験レベルの数学を解かせてAIの数学力を測るという遊びをしています。
過去のAIはどれも大学受験数学においては使い物にならないレベルで、基本的に国立大学であればどこの大学でも合格点取れないレベルだと感じてました。
ところが最近GPT-4oがリリースされ、お試しで適当な問題を解かせたところ、今までになく解けていたので、今回はGPT-4oの大学受験数学の能力について話してみます。

1. 計算能力

2. 論理的記述能力

3. 数学的センス

の3つに分けて話していきます

1.計算能力

過去のAIと比べると格段に上がってます。
今までのAI、他の会社が出した物やGPT-3.5などはまず高校生が普通にこなせる程度の計算も出来ませんでした。

意外だと思われるかもしれませんが、これらのAIの計算能力はめちゃくちゃ低いです。
単純に5桁の掛け算をやらせたら人間より強いと思いますが、文字を含む式を変形して目的の形にしたり、方程式を解いたり、あるいは√や対数を含む式を綺麗な形にして数値評価するのは一般的な受験生の方が優れてました。

なぜかと言うと、数学的センスが壊滅的にないので、「どういう式変形をすれば良いのか」というゴールが見えておらず、場当たり的に計算を進めるため、計算の目的を失って解答が出なくなったり、数値計算の場合は精度が足りなくて不等式評価を間違えたりします。

GPT-4oでもその傾向はかなり強く残ってますが、それでも過去のAIと比べると圧倒的に強く、微積分をする、方程式を解くといった、分かりやすいテーマであれば問題を投げたらそのまま計算をやり切る能力があります。
一方、不等式評価や公式を使うための式変形のような、目的が分かりにくいものだと依然として計算の方針を見失って誤答したり解答を放棄したりします。

2.論理的記述能力

数学の試験では最終的な結論があっていても途中の論理が間違っていると大きな減点をされます。
つまり受験数学の能力の1つとして、論理的に正しく、読む側に意図が伝わる答案を書く能力が求められます。

これに関してはかなりひどいです。
過去のAIはもっと酷かったので進歩はしているのですが、まだまだ足りません。

例えば大学受験の範囲で定義されている三角関数はsin,cos,tanの3つだけなのでその3つのみで答案を作成するように指示を出しても、無視してcotを使ったりします。

また、式の同値変形自体は正しいことが多いのですが、何のためにやっているか分からない謎式変形ループや、言葉での説明がないとなぜ正しい変形か分からないような置き換えを断りなく入れてきます。
こういうのは減点されかねないので良くないです。

答案の書き方は独特のコツがあるので、それを学習してないだけと言われたらそういうもののような気もします。

3.数学的センス

ここが一番進化したと感じる点であり、受験生より劣っている部分だなと感じる点でもあります。

一般的な数学教育を受けた受験生は、問題に対して「どういう処理をすれば解けるか」「どの公式を使えば求められるか」「公式が使える状況に落とし込むために必要な条件は何か」など、色んなことを考え、1つずつ解答を出すために合理的な計算を進めていきます。

以前のAIはこの辺りが本当にダメで、こちらから問題を解くためのステップを1つずつ細かく指定しないと解けませんでした。

GPT-4oではかなり改善されており、「放物線とx軸に囲まれた部分の面積」というキーワードからきちんと放物線の式から方程式を立てて解くところからスタートして求めた解を範囲にとった積分を立式するところまでやってくれます。
ただ、こういう分かりやすいキーワードと方針の場合はやってくれるというだけであり、不等式評価みたいな式の形次第でやり方が変わるパターンに当たると謎の式変形を繰り返した後、大嘘の解答吐いて終わります。

この辺りは人間とAIで思考パターンが違うことに影響受けてるのかなと思ったりもします。

総括としては
①プロンプトを打ち込む人間側が解法を理解している
②計算はめんどくさい
③答案の厳密さを求めない

という条件でやればなかなか使えるかと思います。

現状は問題を与えるだけで入試問題を解かせて合格点を取るのは無理そうです。