Showcase.❤️開発日誌(2024/5/23)

Showcase.❤️の本棚解析(画像から本の情報をリストアップするもの)はAnthropic Claude 3 Opus を使っているのだけど、GPT-4oが話題になっていたので試してみたところ、かなりレベルアップしたのでそちらに乗り換えた。

両方比較している記事は他にもあるし、あくまでもユースケース次第だとは思うけど、自分なりに感じたことを書いてみる。

APIの使いやすさ

• 人間が直接話しかけるインターフェースではなく、プログラムからアクセスする、いわゆるAPIに関しては、ChatGPTのほうがこなれている。
  具体的には、Claude 3のAPIは、戻り値を確実にJSONやXMLといったmachine readableな形にするのが手間だったが、GPT-4oは明示的に指定できる。

• APIに画像を投げるインターフェースは、Claude3がbase64エンコーディングしたものをAPI中に入れて送るだけなのに対して、GPT-4oは(publicなものに限定はされるが)URLで指定できる。

• APIの戻り値の解釈部分はどちらもほぼ同じ。

• Claude3はAPI呼び出しで時々エラーが起きるので、リトライ処理を入れるのが必須だったが、GPT-4oのほうは安定している。

• APIの使い方はどちらも難しくない。Claude3のほうは自作のモジュールを作ったが、ChatGPTのほうにはすでにあるものの、アクセス先、認証方法、サーバに投げる内容と戻り値の解釈だけをすればいいので、それほど差はない。

精度

これはGPT-4oの圧勝。プロンプトで結果が変わってくる部分もあると思うが、画像内の解析のように、データとしてできるだけ正しいものを抽出して欲しい、というようなユースケースではGPT-4oのほうが明らかに精度が高い。逆に、企画書のアイデア出しのように結果の正しさよりも幅広さが求められるものであれば評価はかわるかも知れない。

スピード

結果が返ってくるまでの速さは測定していないので不明。解析処理に時間がかかることを見越して、backgroundで動かして終わったら通知するスタイルなので、リアルタイム性が求められてはいないため。ただ、Claude3のほうはエラーでリトライすることが結構あり、念のため待ち時間を少し入れていたりして時間はかかるので、トータルではGPT-4oのほうが速いと思ってよさそう。

今回は本棚画像解析というマニアックな部分にフォーカスして書いてみたけど、ChatGPTが現れたときほどの衝撃はなかったにせよ、GPT-4oはサービスのレベルが一気に上がり、しかもコストが下がったことで、これを使ったサービスがいろいろ出てきそうである。

---

最後に

リブライズにサーバ代は出してもらっているものの、ほぼ私の個人プロジェクトであるShowcase.❤️ですが、一緒に作ったり遊んだりしてくださる方は大歓迎です。作る人が増えると社会はおもしろくなるのだ！と、作る側から叫んでも説得力はないわけですがw 本気でそう思っている部分はあるので、よしおれがいっちょ助けてやるか、という方はぜひ下記からご連絡ください。

お問い合わせ | note（ノート）