見出し画像

Llama 3.1, SearchGPT, AlphaProof・AlphaGeometry 2 - Generative AI 情報共有会 #19

Masatoshi Kurihara

今週、7月30日（火）にZENKIGEN社内で実施の「Generative AI最新情報共有会」でピックアップした生成AI関連の情報を共有します。

この連載の背景や方向性に関しては、以下第一回の記事をご覧ください。


Meta、Llama 3.1公開（2024/07/23）

現在最も性能の高いクローズドモデルに匹敵する性能のオープンなモデルとして、405BのLlama 3.1を公開。
8言語（英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語）のサポート。日本語はサポート外。

性能

オープンなモデルでGPT-4、GPT-4o、Claude 3.5 Sonnet（クローズドモデル: API経由で有料のモデル）に匹敵。

Introducing Llama 3.1: Our most capable models to date より引用。
Introducing Llama 3.1: Our most capable models to date より引用。

小型モデル（8B, 70B）も同程度サイズのモデルに引けを取らない。

Introducing Llama 3.1: Our most capable models to date より引用。

音声認識の実験もしており、ここでは日本語対応。音声認識性能も高い報告。

The Llama 3 Herd of Models より引用。
The Llama 3 Herd of Models より引用。

ライセンス

ライセンスとして、これまで多くのモデルで許可されていなかった「本モデルの出力を別のモデルの改善に利用してよい」ことが明記される。

We’ve also updated our license to allow developers to use the outputs from Llama models — including 405B — to improve other models for the first time.

We’re excited about how this will enable new advancements in the field through synthetic data generation and model distillation workflows, capabilities that have never been achieved at this scale in open source.

“我々はまた、開発者が405Bを含むLlamaモデルからの出力を使用して、他のモデルを改良することができるようにライセンスを更新しました。

私たちは、合成データ生成とモデル蒸留ワークフローを通じて、この分野での新たな進歩を可能にすることに興奮しています。”

Meta社Xポスト から引用。

Meta社のオープンなAIに関するマーク・ザッカーバーグの公開書簡も公開された。

オープンにすることが開発者にとって、Metaにとって、世界にとって、なぜ良いのかが記載されている。

【開発者にとってなぜ良いのか】

  • 独自データで（自社に閉じた環境で誰にも見られることなく）学習、ファインチューニング、蒸留することができる。

  • クローズドベンダーに依存しないことができる。

  • データを保護することができる。

  • 手頃な価格で実行できる。

  • 長期的な標準になるエコシステムに投資できる。

【Metaにとってなぜ良いのか】

  • エコシステムや効率改善、最適化などの成長が見込める。

  • 業界標準になることで、世代が進んでも競争力があり効率的でオープンであり続けることができる。

  • AIモデルへのアクセスを販売することがビジネスモデルではないため、収益性、持続可能性、研究への投資能力を損なわない。

  • サプライチェーンが我々のデザインに標準化することで多大な節約ができる（これまでに数十億ドル節約した）。オープンソース化したことでエコシステムの革新があったことで利益を得られた。

【世界にとってなぜ良いのか】

  • AIが安全に世界に浸透していく上で、オープンソースは透明性が高く広く受け入れられる。

  • 誰でも自分でテストすることができ、有害性をチェックできる。

  • 誰でもアクセスできると、悪意のある行為者の力はより大きな力を持つ機関によって抑えることが容易になる。

  • （米国にとって）イノベーションをクローズド開発に限定するとリードできなくなる可能性が高まる。強力なオープンエコシステムを構築し、最新の進展を最大限に活用できるようにすることで、長期的に持続可能な先行者優位性を確保するために、主要企業が政府や同盟国と緊密に協力することが最良の戦略。

OpenAIのSearchGPT（2024/07/25）

OpenAIから、LLMとウェブからの情報を組み合わせて、正確でタイムリーな回答を提供するように設計されたSearchGPTがテスト中であるというリリース。
検索結果の中で出版社への引用やリンクを目立たせることで、ユーザーは情報の出所を知ることができる。

回答生成のために利用したウェブ情報の出所を確認することができる。「SearchGPT Prototype」の記事 から引用。

正直それほど目新しいものではないが、OpenAIとしてこの分野「LLMと検索」に慎重に取り組み、批判をかわす狙いがあるように見える。

Google Deepmind、国際数学オリンピック銀メダル相当のAIシステムを実現（2024/07/25）

強化学習ベースの形式的数学推論システムAlphaProofと幾何学解法システムAlphaGeometry 2を組み合わせ、今年の国際数学オリンピックの6問中4問を解き、銀メダルと同等の成績を収めた。

Google Deepmindのシステムが獲得したスコア（28点で銀メダル相当）。「AI achieves silver-medal standard solving International Mathematical Olympiad problems」から引用

（ただ、人間のように問題を解いているわけではなく）
問題文をLeanという言語に手作業で変換し、解答させる。
解答できた4問のうち、1問は数分で解答したが、他3問を解くには3日かかった（大会参加学生は4時間半のセッション2回で解答）。

お知らせ

少しでも弊社にご興味を持っていただけた方は、お気軽にご連絡頂けますと幸いです。まずはカジュアルにお話を、という形でも、副業を検討したいという形でも歓迎しています。


この記事が気に入ったらサポートをしてみませんか？