見出し画像

Googleのオープンモデル Gemma の概要

npaka

以下の記事が面白かったので、簡単にまとめました。

・Gemma: Introducing new state-of-the-art open models

1. Gemma

「Gemma」は、「Gemini」と同じ技術を基に構築された、軽量で最先端のオープンモデルです。「Google DeepMind」と「Google」の他のチームによって開発された「Gemma」は、「Gemini」からインスピレーションを受けており、その名前はラテン語で「宝石」を意味するgemmaを反映しています。モデルの重み付けに伴い、開発者のイノベーションをサポートし、コラボレーションを促進し、「Gemma」の責任ある使用をガイドするためのツールもリリースします。

「Gemma」は本日より世界中で利用可能になります。
知っておくべき重要な詳細は次のとおりです。

・「Gemma 2B」「Gemma 7B」の2つのサイズのモデルウェイトをリリースします。各サイズは、事前学習および指示チューニングされたバリアントでリリースします。

・新しい「Responsible Generative AI Toolkit」は、「Gemma」を使用してより安全なAIアプリケーションを作成するためのガイダンスと必須ツールを提供します。

・「Keras 3.0」を介して、JAX、PyTorch、TensorFlow など、すべての主要なフレームワークにわたって推論と教師ありファインチューニング (SFT) のためのツールチェーンを提供しています。

・すぐに使えるColabおよび Kaggleノートブックに加え、Hugging Face、MaxText、NVIDIA NeMo、TensorRT-LLMなどの人気ツールとの統合により、「Gemma」を簡単に始めることができます。

・事前学習、指示チューニングされた「Gemma」は、ノートパソコン、ワークステーション、Google Cloud 上で実行でき、Vertex AI および Google Kubernetes Engine (GKE) に簡単にデプロイできます。

・複数のAIハードウェアプラットフォームにわたる最適化により、NVIDIA GPU や Google Cloud TPU など、業界をリードするパフォーマンスが保証されます。

・利用規約では、規模に関係なく、すべての組織に対して責任ある商業利用と配布が許可されています。

2. このサイズで最先端のパフォーマンス

「Gemma」は、現在広く利用可能な最大かつ最も有能なAIモデルである 「Gemini」と技術コンポーネントおよびインフラストラクチャ コンポーネントを共有します。これにより、「Gemma 2B」「Gemma 7B」 は、他のオープンモデルと比較して、そのサイズでクラス最高のパフォーマンスを実現できます。また、「Gemma」は、開発者のラップトップまたはデスクトップコンピューター上で直接実行できます。 特に、「Gemma」は、安全で責任ある出力に関する当社の厳格な基準を遵守しながら、主要なベンチマークで大幅に大型のモデルを上回っています。パフォーマンス、データセット構成、モデリング手法の詳細については、技術レポートを参照してください。

3. デザインの責任者

「Gemma」は、AI Principlesを最前線に置いて設計されています。「Gemma」の事前学習済みモデルを安全かつ信頼性の高いものにする一環として、自動化技術を使用して学習セットから特定の個人情報やその他の機密データを除外しました。さらに、ヒューマンフィードバック (RLHF) からの広範なファインチューニングと強化学習を使用して、指示チューニングされたモデルを責任ある行動に合わせました。「Gemma」のリスクプロファイルを理解して軽減するために、手動のレッドチーム化、自動化された敵対的テスト、危険なアクティビティに対するモデルの機能の評価など、堅牢な評価を実施しました。 これらの評価の概要はModel Cardに記載されています。

また、開発者や研究者が安全で責任ある AI アプリケーションの構築を優先できるよう、Gemma と共同で新しいResponsible Generative AI Toolkitをリリースします。 ツールキットには次のものが含まれます。

・安全性分類
最小限の例で堅牢な安全性分類器を構築するための新しい方法論を提供します。

・デバッグ
モデル デバッグ ツールは、「Gemma」の動作を調査し、潜在的な問題に対処するのに役立ちます。

・ガイダンス
大規模な言語モデルの開発とデプロイにおける Google の経験に基づいたモデルビルダーのベスト プラクティスにアクセスできます。

4. フレームワーク ・ ツール ・ ハードウェア全体で最適化

独自のデータに基づいて「Gemma」をファインチューニングして、要約や検索拡張生成 (RAG) などの特定のアプリケーションのニーズに適応させることができます。「Gemma」は、さまざまなツールとシステムをサポートしています。

・マルチフレームワークツール
マルチフレームワークKeras 3.0、ネイティブPyTorch、JAX、Hugging Face Transformers にわたる推論とファインチューニングのためのリファレンス実装を備えた、お気に入りのフレームワークを導入します。

・クロスデバイス互換性
「Gemma」は、ラップトップ、デスクトップ、IoT、モバイル、クラウドなどの一般的なデバイス タイプで動作し、幅広くアクセス可能な AI 機能を可能にします。

・最先端のハードウェアプラットフォーム
NVIDIAと提携して、データ センターからクラウド、ローカル RTX AI PC に至るまで、NVIDIA GPU 向けに Gemma を最適化し、業界をリードするパフォーマンスと最先端テクノロジーとの統合を保証します。

・Google Cloud 向けに最適化
Vertex AIは、さまざまな調整オプションを備えた広範な MLOps ツールセットと、組み込みの推論最適化を使用したワンクリック デプロイを提供します。 フルマネージドの Vertex AI ツールまたはセルフマネージド GKE を使用すると、いずれかのプラットフォームから GPU、TPU、CPU にわたるコスト効率の高いインフラストラクチャへのデプロイを含む、高度なカスタマイズが可能になります。

5. 研究開発のための無料クレジット

「Gemma」は、AIイノベーションを推進する開発者と研究者のオープンコミュニティ向けに構築されています。Kaggleの無料アクセス、Colabノートブックの無料枠、初めてのGoogle Cloudユーザー向けの300 ドルのクレジットを使用して、今すぐ「Gemma」の使用を開始できます。研究者は、プロジェクトを加速するために最大50万ドルのGoogle Cloud creditsを申請することもできます。

6. はじめる

ai.google.dev/gemma、では、「Gemma」の詳細やクイックスタートガイドを参照できます。

当社は「Gemma」の拡大を継続し、多様なアプリケーション向けの新しいバリアントを導入することを楽しみにしています。「Gemma」とつながり、学び、構築するための今後数週間のイベントや機会にご期待ください。

関連



この記事が気に入ったらサポートをしてみませんか？