Nvidiaは企業が独自データを学習させる方法を開放/ラージ生成AIにもJetsonロボにも適用可能

Nvidiaは企業が独自データを学習させる方法を開放
ラージ生成AIにもJetsonロボにも適用可能

上記をPRするためNvidiaは自社サイトに独自データ学習、
Jetsonロボ適用可能を体験できるウエブサイトを設けました。

開発者はブラウザを使用して、[NVIDIA の公式ウェブサイト]
(https://ai.nvidia.com/)で Llama 3 を試すことができます。

「春に咲く花は」　と聞いたところ
日本語で
「春に咲く花は、桜やつつじ、すみれ、藤、牡丹など多くの美しい花たちです！」
と答えてくれました。

また、自社のデータで Llama 3 を学習させるには「 NVIDIA NeMo」 を使用できます。
Llama 3 はロボティクスやエッジコンピューティング、PC など、さまざまなプラットフォームで動作します。

サイトでは　llama3-70b-instruc がNVIDIA H100 GPU 上で動作するように最適化されている。
llama3と NVIDIA のGPUを組み合わせることで、企業の皆様は、幅広いアプリケーションで信頼性の高いイノベーションを実現することが可能になります。

NVIDIA AI でllama3をトレーニング
Meta のエンジニアは、2 万 4,576 基の NVIDIA H100 Tensor コア GPU を搭載し、
RoCE と NVIDIA Quantum-2 InfiniBand ネットワークでリンクされたコンピューター クラスタの上で Llama 3 のトレーニングを行いました。

生成 AI の性能をさらに進化させるため、Meta は最近、そのインフラを 35 万基の H100 GPU にまで拡張する計画を発表しました。

Llama 3 の活用
NVIDIA GPU で高速化された Llama 3 の各バージョンが、クラウド、データセンター、エッジ、および PC で今すぐ利用可能です。
開発者はブラウザを使用し、ai.nvidia.com で Llama 3 を試すことができます。
Llama 3 は標準的なアプリケーション プログラミング インターフェイスを備えた NVIDIA NIM マイクロサービスとしてパッケージ化されており、どこにでも展開することができます。

企業は NVIDIA NeMo を使って、自社のデータで Llama 3 をファインチューニングできます。
NVIDIA NeMo は、LLM 用のオープンソース フレームワークで、サポート付きのセキュアな NVIDIA AI Enterprise プラットフォームの一部です。
カスタム モデルは、NVIDIA TensorRT-LLM で推論用に最適化し、NVIDIA Triton Inference Server で展開することができます。

Llama 3 をJetson搭載ロボットに導入するには
Llama 3は、ロボティクスおよびエッジ コンピューティング デバイス用の NVIDIA Jetson Orin 上でも動作し、Jetson AI Lab にあるようなインタラクティブなエージェントを作成できます。

Llama 3 をPCに導入するには
NVIDIA RTX および GeForce RTX GPU が、Llama 3 の推論を高速化します。

Llama 3 で最適なパフォーマンスを実現
チャットボット用に LLM を展開する際のベスト プラクティスには、低遅延、優れた読み取り速度、コスト削減のための最適な GPU の使用のバランスが挙げられます。

このようなサービスでは、トークン (基本的に LLM でいう単語に相当) をユーザーの読み取り速度の約 2 倍 (約 10 トークン/秒) で提供する必要があります。

上記の指標を適用すると、700 億のパラメータを持つバージョンの Llama 3 を使用した初期テストでは、NVIDIA H200 Tensor コア GPU 1 基で、約 3,000 トークン/秒 (約 300 人のユーザーに同時にサービスを提供するのに十分な量) を生成できました。

つまり、8 基の H200 GPU を搭載した 1 台の NVIDIA HGX サーバーは、2 万 4,000 トークン/秒を提供できるため、同時に 2,400 人以上のユーザーをサポートし、コストをさらに最適化することができます。

Jetson の場合は、80 億のパラメータを持つバージョンの Llama 3 を使用し、Jetson AGX Orin で最大 40 トークン/秒、Jetson Orin Nano で 15 トークン/秒(１人のユーザーにサービスを提供するのに十分な量) を生成できました。

コミュニティ モデルの推進
NVIDIA は、オープンソースに積極的に貢献している企業として、コミュニティ ソフトウェアの最適化を通じ、ユーザーが非常に困難な課題にも取り組めるよう支援しています。オープンソース モデルはまた、AI の透明性を高めることで、ユーザーが AI の安全性とレジリエンスに関する作業を広く共有できるようにします。