処理速度が速いのは良いけど、GPT-4oは決してGTP-4よりも優れているわけではない。

つい数日前にChatGPTの新しいエンジンである、GPT-4oが発表された。
高速で動作しOCR機能もGTP-4より優れているとされる。

だが本当に、GPT-4よりもGTP-4oは賢いのだろうか？
最先端のモデルが、旧モデルよりも本当に優れているか、検証してみる。

東大理系の数学の問題を解かせる

２０２３年の、東京大学理系の数学の問題を解かせてみよう。

https://www.u-tokyo.ac.jp/ja/admissions/undergraduate/e01_05_23.html

この問題の正解は、14/55だ。

GPT-4oの場合
ではまず、GPT-4oに解かせてみる。

このプロンプトに対して、以下の返答をした。
問題文自体の読み取りは、正確にできているようだ。

ところが、推論を進めさせた結果の回答は1/4245。
不正解である。

GPT-4の場合

では旧バージョンのGPT-4で解かせてみる。

同一のプロンプトに対して、問題文の読み取りはGPT-4oと同様にできたようだ。
そして推論を進めさせると、以下のように回答した。

なんと正解である。
これだけを見れば、性能としてはGPT-4のほうが、新バージョンであるGTP-4oを上回る。

高速で動作し、無料版でも使え、APIの利用料も安いGPT-4oだが、ひょっとしたら早くて安いのは、推論能力を犠牲にしているからなのではないだろうか、という疑問が出てきた。

なお、Claudeにも全く期待していないが、解かせてみる。

Claudeは数学に関してはアホなので、使ってはいけない。

キャッチコピーを生成させる

では、言語能力を試すために、「キャッチコピーの生成」をやらせてみる。
試しに、次のようなプロンプトを入力してみよう。