新型生成AI "Claude3 Haiku"を試してみた。 速くて賢いのに低価格。 AI エージェントとして使いたい！

３月14日に"Claude3 Haiku"(1)というClaude3 生成AIの中で最も軽量なモデルが公開され、webアプリやAPIで使えるようになりました。いつもは最も高性能なモデルに惹かれるのですが、今回は最も軽いモデルを取り上げてみたいと思います。最近AI Agentのような繰り返し計算を実行するアルゴリズムを使うことが増えてきました。GPT4のようなハイエンドモデルを使いたいのですが、とてもコストが嵩むので簡単には実行できません。そこで安くて性能が良いモデルを探していたのですが、"Claude3 Haiku"はハイエンドモデル"Claude3 Opus"の1/60のコストでありながら、性能も高いのでピッタリです。早速ここで試してみたいと思います。各モデルの詳細は以下のとおりです。

1. まずはテキストを試します

広島風お好み焼きという超ローカルな日本の食べ物を"Claude3 Haiku"が知っているかどうか確認しました。私は広島に以前住んでいたので詳しいのですが、この回答は概ね良好だと思います。日本語も綺麗で、まずは合格です。

次に東京から大阪への移動手段について尋ねてみました。残念ながら一箇所明らかに間違いがありました。バスの所要時間が「約4時間30分」とありますが、実際は８時間程度かかります。これはハルシネーション（幻覚）ですね。

次は市場の競争状態を分析するためのフレームワーク「ファイブ・フォース」について聞いてみました。自動車産業を分析しましたが、電気自動車による代替品の脅威など、最新事例も取り込んだ分析になっており、議論の出発点としては十分なクオリティだと思います。ただ表になっていないが難点ではあります。

２．次は画像を分析します
まずは、スマートフォンの台数を尋ねましたが、残念ながら間違えてますね。数えることは得意でないかも知れません。

広島の原爆ドームの写真です。これは完璧に答えてます。日本の建築物でも有名なものは理解していそうです。

広島市内を走る路面電車の写真ですが、概ねうまく捉えていると思います。ただ、路面電車は観光客のためだけに走っている訳ではないので、説明としてはやや不完全かも知れません。

羽田空港のフライト案内です。細かい情報も完璧に理解してます。優秀です。

駐車場の車の台数を数えるのは、生成AIにとっては難問です。今回は60台と答えてますが、実際は48台です。もう少し精度があがれば実用レベルになるのですが、ちょっと残念です。

3."Claude3 Haiku"を使ってみた感想
率直に言って、普及版AIとは思えない性能でした。日本語は自然で綺麗です。そもそも画像を取り込んで分析できること自体が画期的です。マルチモーダル化が普及版AIにもやってきたと言うことですね。計算スピードも速く、リアルタイムでの反応が求められるアプリケーションにも適用されていくかと思います。しかもコストは安い。これならいろんな実験を思う存分実行できます。コスト制約の厳しいスタートアップの救世主です！　これからも"Claude3 Haiku"を使って面白い実験をやりたいと思います。Stay tuned!

(1) Claude 3 Haiku: our fastest model yet   2024.3.14  Anthropic

Copyright © 2024 Toshifumi Kuga. All right reserved

Notice: ToshiStats Co., Ltd. and I do not accept any responsibility or liability for loss or damage occasioned to any person or property through using materials, instructions, methods, algorithms or ideas contained herein, or acting or refraining from acting as a result of such use. ToshiStats Co., Ltd. and I expressly disclaim all implied warranties, including merchantability or fitness for any particular purpose. There will be no duty on ToshiStats Co., Ltd. and me to correct any errors or defects in the codes and the software.