miiboでGPT-4o mini試してみた。 3.5 Turboは置き換えかも?
今日、GPT-4o miniが出ましたね。的なメモ書きです。
GPTはTinyLlamaみたいに軽量モデルでラズパイとかに仕込めるかも〜みたいな世界ではなくて基本的にAPIアクセスになってるので名前みたときにどういうことだ…?って感じの疑問でした。
調べてるとGPT-3.5 Turboより早くて安いし精度が良いという感じでGPT-3.5 Turboが上書きされた印象です。
なるほどAPI的に軽量。
GPT-3.5 Turboより60%安価でベンチマークとパフォーマンスも良い
GenSparkに聞いてみました。
結構良い感じにまとめてくれていますね。
※GenSparkが生成した回答を抜粋してます。
GPT-4o-miniは、GPT-3.5 Turboと比較して、コストと精度の両面で優れた性能を発揮しています。まず、コスト面では、GPT-4o-miniの価格は入力トークン100万個あたり15セント、出力トークン100万個あたり60セントと、GPT-3.5 Turboよりも60%安価です。
精度に関しても、GPT-4o-miniは学術的ベンチマークで高い評価を受けています。特に、テキストインテリジェンスとマルチモーダル推論の分野で、GPT-3.5 Turboを上回るパフォーマンスを示しています。例えば、MMLUベンチマークでは82.0%のスコアを獲得し、他の小型モデルを凌駕しています。
また、数学的な理由付けやコーディングタスクにおいても、GPT-4o-miniは優れた性能を発揮しています。MGSMベンチマークでは87.0%、HumanEvalでは87.2%のスコアを記録し、これまでの小型モデルを大きく上回っています。
さらに、GPT-4o-miniは長コンテキストのパフォーマンスでもGPT-3.5 Turboを上回っており、開発者がデータを取得したり外部システムでアクションを実行するアプリケーションを構築する際に優れた性能を発揮します。
総合的に見て、GPT-4o-miniはコスト効率が高く、精度も優れているため、GPT-3.5 Turboよりも優れた選択肢と言えます。特に、学術的ベンチマークや実際の使用例において、その優位性が明確に示されています。ハンズオンなどでとりあえず試す際
金額が安いという理由で初学者向けにGPT-3.5 Turboを使ってもらってましたが今日からはGPT-4o miniの方を使ってもらうという感じにアップデートするのが良さそうな気配を感じました。
GPT-4がレガシー扱い
ChatGPTの画面でGPT-4はLegacy modelとなっていて、もうGPT-3.5は選べませんでした。
miiboでGPT-4o mini使ってみた
miiboが早速対応してました。
miiboは無料で使える範囲で月毎の消費ポイントがありますが、API使用量が高いモデルは消費ポイントも高いといった対応です。
miiboで使う時の消費ポイントは1会話5ポイントでGPT-3.5 TurboとGPT-4o miniは同じ消費ポイント(≒費用は一緒)みたいです。
ちなみにmiiboのマニュアルにはGPT-4o miniはまだ載ってなかったです。
GPT-4oは15ポイントみたいですね
使用感はまだそこまで差が出るくらい試していないのでこれからって感じで、速度は3.5比較だと速いかも…?といった印象です。ちょっと試した感じだとそこまで速度体感は変わらなかった苦笑
まだちゃんと使えてない感が否めない。
まとめ
GPT-3.5 TurboはGPT-4o miniに上書きで良いような気がしました。
…が、この辺詳しい人いたらコメントもらえると嬉しいです。
応援してくれると喜びます。