#61【LLM一斉比較】よーいドンで英語ニュースを要約させてみた

おはようございます。



40営業日後に『生成AI活用法』セミナーを開催するアヒルです。コーラと醤油で豚バラを煮ました。美味し。

今週は"教えてAI byGMO"に齧り付いています。
複数LLMの一発検索がお気に入りです。

これまでも、色々なAIに同じ指示を与えて生成内容を比較するといったことはやっていましたが、同一画面内でそれができるのがありがたいんですよね。

今日は、ちょっとヘビーな指示を与えて、どのLLMが一番速いのか比べてみようと思います。

比較するテーマ

いきなり余談になりますが、
アヒルは毎日、Techmeme(テックミーム)というサイトをチェックするようにしています。

Techmeme

AIをはじめとするテクノロジー系のニュースをまとめたサイトです。
AI業界の最新の動向をなんとなーく把握するのに使っています。

でも英語なんですよ。

普段はページ丸ごと日本語に翻訳させて読んでますが、今回は1つの記事を英語のまま渡して、AIに日本語でまとめてもらおうと思います。

今回拝借してきた記事は、米国のSparkToro社というところが出した、
「情報漏洩したGoogle検索APIドキュメントの内容が、Google公式の出した声明の内容となんかちげーぞ」といった内容のものです。

GPT vs Gemini vs Claude

前述したニュース記事を、
GPT-4o、Gemini1.5Pro、Claude3 Opusに与え、生成内容を比べてみました。

Claudeがネットにアクセスできないので、条件を合わせるため渋々ニュースの英文を6000文字近くコピって貼り付けました。

結果は以下の通りでした。

スピード

1位: GPT-4o 約9.6秒
2位: Gemini1.5Pro 約11.3秒
3位: Claude3Opus 約13.9秒

やはりGPT-4oはダントツで速かったです。

クオリティ

1位: Gemini1.5Pro
2位: GPT-4o
3位: Claude3Opus

主観にはなりますが、Geminiのまとめ具合が個人的にちょうどよかったです。
そこそこ長い文章を与えたのですが、ギュッてまとめてもらった時の抽象度合いが絶妙でした。

以下、Geminiの要約(一部)です。
長くなるので他LLMの要約は割愛します。こんなニュースでした。。

グーグル検索アルゴリズムのリーク情報を入手したという人物から連絡があり、その内容はグーグルが公に否定してきた多くの検索操作の裏側を暴露するものだった。

情報提供者は、グーグルが検索結果の質を向上させるため、Chromeブラウザ開発の動機にもなった「NavBoost」というシステムでユーザーのクリックストリームデータを広範囲に収集・活用していると主張。

具体的には、

* 検索キーワードのトレンド分析

* クリック数、滞在時間による検索結果の順位調整

* ユーザーの意図を分析した検索結果のパーソナライズ化

* サイト全体の品質評価（パンダアップデートとの関連性も示唆）

* 特定のクエリに対するホワイトリスト運用（パンデミックや選挙関連など）

などが挙げられている。

情報提供者の主張を裏付けるため、私は情報源とビデオ通話を行い、さらなる調査を進めている。

SEO担当としてはそわそわするニュースですが、ここでは深掘りしないこととします。(･_･;

まとめ

教えてAIの一発検索機能を使って、1つの画面内で複数LLMの生成スピードやその内容を比較することができました。

これまでは複数タブ開いて別々に動作させていましたが、いっぺんに動かせるのでたのしいです。

お読みいただきありがとうございました！