GPT-4o（omni）の驚きと、感じたこと

こんにちは、小野崎です。

昨日（2024.05.14）、全世界でリリースされた、OpenAI社の新LLM「GPT-4o」。

早速、弊社のAIプロダクト「Coolied-AI-5」に組み込んで利用してみました！

＜＜ 驚き ＞＞

1.速さ
2倍高速とアナウンスされてますが、感覚的にそれ以上の速度になった感があります。これは、Coolied-AI-5を稼働させている環境（Azure VM）による部分もあると思いますが、いずれにせよ、「速い！　ノンストレス！」

2.安価
昨日（といっても、GPT-4o組み込み完了が14:30なので、約1/3日）の弊社内利用のデータですが、138,000トークンで、1.09ドル。実測でGPT-4 Turboの1/2以下です。
「安い！」

3.生成品質
社内のAIプロジェクトメンバに聞いても、「まだ実感しきれていない」という声が多く、私自身もそうなのですが..
ただ、「安全性が向上した」のは確認できました。GPT-4で偏見的な回答（生成）がされやすいプロンプトを入力してみても、GPT-4oは公平性に準じた回答（生成）をしてきました。その視点からも「品質UPした！」と言ってもよいのかと思います。

＜＜ 思ったこと ＞＞

「モデル（LLM）の拡大のよる、性能合戦は一旦終わりかな？」

ということを思いました。それは、以下の3点から...（小野崎個人の考えですよ）

1.GPT-5でなく、GPT-4の性能向上をリリースしたこと。
巷の噂でGPT-5がリリースされる（モデルチェンジされる）といったものもありましたが、実際はGPT-4oとバージョンアップだったこと

2.GPT-4oで既に十分な性能があると多くの人が実感するであろうこと。

3.Appleが次期OS「iOS 18」にchatGPTを搭載すると発表があったこと。 GPT-4oのリアルタイム応答といえるレスポンスを体験すると、「Siri」が「GPT-4o」に代替されると感じるのは自然なことで、AIをそういう方向で使っていく起点になるかと。

では、次はどんな戦いが？

これについて小野崎は、

「エッジコンピュータ（端末/低スペック機器）で、しっかり動作させ、新たなUXを提供していく戦い」

になっていくのではと考えています。

スマートフォンでの動作は当然のことながら、AR/VR機器での動作（このあたりはMeta社が超気合入ってますよね）と、エッジで新たなユーザー体験が提供できるAI アプリケーションの戦いになっていくと思います。

ですので、我々クーリードも2024年中に新たなAR/VR * AIアプリケーションをリリースしていく考えです。

このあたりは後日にまたご報告させていただきます。

＜補足＞
LLMの性能評価という文脈で、面白い論文を見つけました。

▼論文
https://arxiv.org/abs/2405.00332

この論文を、すごくざっくりいうと、
・LLMの評価には、GSM8kといったデータセットが利用される
・このGSM8k（データセット）は公開されている
・なので、このGSM8kでLLMを学習すると、そのタスクでは高評価（高得点）が得られるが、汎用的な知識・能力に欠けてしまう。これを「オーバーフィッティング」というそうです。

で、この著者は、GSM8k　と同様の問題を1000問つくりLLM評価させたところ、多くのLLMで特典がさがった。最大で13%正答率が下がったということです。

このあたり、我々の社会（リアルな人間社会）と似通ってますね。
特定の練習問題をこなしていると、その問題は完璧に答えられるが、問題が少し変化すると回答できなくなる...　といった現象と同様ですよね。