スマートフォンで利用可能な新時代の言語モデル「Phi-3-mini」

スマートフォンで直接動作可能な言語モデル「Phi-3-mini」が登場し、その小さなサイズと驚異的な性能が世界の注目を集めています。このモデルは、ポータブルデバイスに最適化された設計でありながら、大規模なモデルと競合する性能を誇り、AI技術の新たな地平を開いています。

論文

Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone

技術仕様と特徴

• モデルの基本情報: Phi-3-miniは、3.8億パラメータを持つ言語モデルで、3.3兆のトークンでトレーニングされています。このパラメータ量は、最新のAI技術をスマートフォンのような限られたリソース上で効率的に動作させるために最適化されています。

• 性能比較と基盤モデル: このモデルは、GPT-3.5やMixtral 8x7Bといった大規模モデルと比較しても遜色のない性能を持ちますが、そのサイズははるかに小さく、モバイルデバイスに適した形で提供されます。

• データの最適化と応用: Phi-3-miniは、特にウェブデータと合成データを高度にフィルタリングすることによって訓練されており、このプロセスにより、小型ながらも高性能を保持することが可能になります。

4ビット量子化されたPhi-3-miniが、A16 Bionicチップを搭載したiPhone上でネイティブに実行され、秒間12トークン以上を生成しています。

革新的な展開と利活用の強み

• スマートフォンへの展開: このモデルは、iPhone 14のA16 Bionicチップ上でネイティブに動作し、オフライン環境でも高性能を発揮します。これにより、インターネット接続がない場所でもAIの利点を活用することができます。

• 長文コンテキストの扱い: 長文のデータを扱う能力も強化されており、最大128Kのコンテキスト長で動作するモデルも開発中です。これにより、より複雑な入力に対しても精度高く対応できるようになります。

これらのベンチマークは、モデルの推論能力（常識的推論および論理的推論の両方）を測定しています。Phi-2 [JBA+23]、Mistral-7b-v0.1 [JSM+23]、Mixtral-8x7b [JSR+24]、Gemma 7B [TMH+24]、Llama-3-instruct8b [AI23]、およびGPT-3.5と比較しています。

今後の展望と潜在的な影響

• モデルの拡張と性能向上: Phi-3-smallとPhi-3-mediumという更に大きなパラメータを持つモデルも提供されており、これらはさらに高い性能を実現しています。これらの大型モデルの技術やデータの最適化方法が、Phi-3-miniの更なる進化に対して貴重なフィードバックを提供するでしょう。

• 訓練データの改善: 今後は訓練データの質を更に向上させ、データ最適化体制を通じてモデルの論理的推論能力を強化することが期待されています。これにより、モデルはより複雑な問題解決能力を持つことになります。

性能比較

早速、x上評価が出ました。LlaMA-3 と Phi-3 のビジュアル モデル LLaMA3-Vision と Phi3-Vision を作成したツイトがありました。

そしてそのパフォーマンスは依然として非常に強力であり (Phi3-Vision は OK)、今、オープンソースの世界が始まりつつあります。

LLaMA3 and Phi3 have made the splash this week in LLM Arena. But how strong is their visual understanding ability?

⚡We release LLaMA3-Vision and Phi3-Vision models that beat their larger size LLM competitors.

Github: https://t.co/o4AVEn0AYF
HF: https://t.co/AujQeYLMlG pic.twitter.com/NJqNT9K8he

— Salman Khan (@KhanSalmanH) April 26, 2024

結論

Phi-3-miniの登場により、モバイルデバイス上でのAIの活用が大きく前進し、これまでデスクトップやクラウド環境に限定されていた高性能な計算能力が、日常的な携帯電話にももたらされました。この技術革新は、AIが私たちの生活に与える影響を一層拡大し、新たな応用領域を開拓することに繋がるでしょう。