Gemma 2 2B・ShieldGemma・Gemma Scope の概要

2024年8月1日 07:06

以下の記事が面白かったので、簡単にまとめました。

・Smaller, Safer, More Transparent: Advancing Responsible AI with Gemma

1. はじめに

「Gemma」は、安全性とアクセシビリティを優先する責任ある AI の基盤の上に構築されています。この取り組みをサポートするために、「Gemma 2」ファミリーに3つの新しい製品が加わりました。

・Gemma 2 2B
安全性の向上が組み込まれ、パフォーマンスと効率の強力なバランスを実現した、2Bパラメータモデルの最新バージョン。
・ShieldGemma
「Gemma 2」をベースに構築された、AIモデルの入出力をフィルタリングしてユーザーの安全を守る、安全性コンテンツ分類モデル。
・Gemma Scope
モデルの内部動作に関する比類のない洞察を提供する新しいモデル解釈ツール。

2. Gemma 2 2B

「Gemma 2 2B」は、蒸留を通じて大規模なモデルから学習することで、並外れた結果を生み出します。実際、「Gemma 2 2B」は「Chatbot Arena」のすべての「GPT-3.5」を上回っており、その卓越した会話型AI能力を実証しています。

「Gemma 2 2B」の特徴は、次のとおりです。

・卓越したパフォーマンス
サイズに対してクラス最高のパフォーマンスを提供し、同カテゴリの他のオープンモデルを上回ります。

・柔軟でコスト効率の高い導入
「Gemma 2 2B」は、エッジデバイスやノートPC からVertex AIやGKEを使用した堅牢なクラウド導入まで、幅広いハードウェアで効率的に実行できます。さらに速度を向上させるために、NVIDIA TensorRT-LLMで最適化されており、「NVIDIA NIM」として利用できます。この最適化は、データセンター、クラウド、ローカルワークステーション、PC、エッジデバイスなど、エッジAI 用のNVIDIA RTX、NVIDIA GeForce RTX、NVIDIA Jetsonを使用したさまざまな導入を対象としています。さらに、「Gemma 2 2B」は、「Keras」「JAX」「Hugging Face」「NVIDIA NeMo」「Ollama」「Gemma.cpp」および近々「MediaPipe」とシームレスに統合され、開発を効率化します。

・オープンでアクセス可能
研究および商用アプリ向けの商業フレンドリーなGemma 条件の下で利用できます。Google ColabのT4 GPU の無料レベルで実行できるほど小さいため、実験と開発がこれまで以上に簡単になります。

本日より、「Kaggle」「Hugging Face」「Vertex AI Model Garden」からGemma 2のモデルウェイトをダウンロードできます。「Google AI Studio」でその機能を試すこともできます。

3. ShieldGemma

「ShieldGemma」は、AIモデルの入出力の有害なコンテンツを検出して軽減するように設計された最先端の安全性コンテンツ分類モデルです。
特に次の4つの主要な危害領域を対象としています。

・ヘイトスピーチ
・嫌がらせ
・性的に露骨な内容
・危険なコンテンツ

これらのオープン分類子は、限られた数のデータポイントで特定のポリシーに合わせた分類子を構築する方法論を含むResponsible AI Toolkitの既存の安全性分類子スイートと、API経由で提供される既存のGoogle Cloud既成分類子を補完するものです。

・SOTA パフォーマンス
「Gemma 2」をベースに構築された「ShieldGemma」は、業界をリードする安全性分類ツールです。

・柔軟なサイズ
「ShieldGemma」は、多様なニーズを満たすためにさまざまなモデルサイズを提供しています。2Bモデルはオンライン分類タスクに最適ですが、9Bおよび27Bは、遅延があまり問題にならないオフラインアプリでより高いパフォーマンスを提供します。すべてのサイズでNVIDIAの速度最適化が活用され、ハードウェア全体で効率的なパフォーマンスが実現します。

・オープンでコラボレーション
「ShieldGemma」のオープンな性質は、AIコミュニティ内の透明性とコラボレーションを促進し、ML業界の安全基準の将来に貢献します。

ShieldGemmaの詳細を学び、技術レポートで完全な結果を確認し、包括的なResponsible Generative AI Toolkitを使用してより安全なAIアプリの構築を開始してください。

4. Gemma Scope

「Gemma Scope」は、研究者や開発者に、「Gemma 2」の意思決定プロセスに関する前例のない透明性を提供します。強力な顕微鏡のように機能する「Gemma Scope」は、「SAE」 (sparse autoencoders) を使用してモデル内の特定のポイントを拡大し、モデルの内部動作をより解釈しやすくします。

これらの「SAE」は、「Gemma 2」によって処理された高密度で複雑な情報を解析し、分析と理解が容易な形式に拡張するのに役立つ特殊なニューラルネットワークです。研究者は、これらの拡張ビューを研究することで、「Gemma 2」がどのようにパターンを識別し、情報を処理し、最終的に予測を行うかについて貴重な洞察を得ることができます。「Gemma Scope」では、AI 研究コミュニティがより理解しやすく、説明責任があり、信頼性の高い AI システムを構築する方法を発見できるように支援することを目指しています。

・オープン SAE
「Gemma 2 2B」および 9B のすべてのレイヤーをカバーする、無料で利用できる 400 を超える SAE 。

・インタラクティブデモ
Neuronpediaでコードを記述せずに「SAE」の機能を調べ、モデルの動作を分析。

・使いやすいリポジトリ
「SAE」および「Gemma 2」とのインターフェース用のコードと例。

Neuronpediaの「Gemma Scope」を試して、「Gemma 2」の内部の仕組みを明らかにしましょう。詳細については、Google DeepMind ブログ、技術レポート、開発者向けドキュメントを参照してください。