[2023.11.7(JST)発表]openai社のGPT-4 Turboの性能は？

2023年11月6日（日本時間、11月7日 3時）にopenaiによるDev dayが開催されました。

そこで、いくつか興味深い発表がされました。
その中でも、今現在openaiのAPIを使っている人が最も興味があった１つのトピックは、

・コストがいくら下がるのか
・スピードがどれくらい上がるのか

ではないでしょうか。

そこで、GPT-4 Turboが発表されました。

なんと、Inputのコストは、1/2（50%off）、Outputのコストは1/3（66.6%off）と発表されました。

事前のリークで、1/20になるという噂も出ていたため、そこまでのインパクトはなかったですが、GPT-3系に関しては、２回目の値下げであり、openaiが引き続き値下げをしてくれる期待感は持てたと思います。

では、「スピード」の面は？というと、触ってみなければわかりません。

ということで、早速やってみました。

[条件] 条件は一律で以下としました。
・短い以下のプロンプトで実行
　プロンプト："Translate the following English text to French: 'Hello, how are you?'"
・10回実行して、その平均値で争う

[試したモデル] 以下の6モデルです。
GPT-3.5-turbo , GPT-3.5-Turbo-1106（今回の新しいもの）
GPT-4、GPT-4 Turbo-1106（今回の新しいもの）
Azure GPT-4、Azure GPT-3.5-turbo-16k

結果は・・・、

・速くなっている！
・以上に、Azure強い！
・GPT3.5-turboにGPT-4-1106が肉薄！
・今回の新しいAIは標準偏差（バラツキ）が小さいという特徴も見えました（まだ使っている人が少ないからかもしれませんが）

AzureにGPT-4 Turboが出てきたら、期待ですね！

※ちなみに、画像は、DALL・E 3にて作成しました

本日の実験結果は以上となります！