Canonical、Nutanix、Red Hat 等のプロバイダーが提供するオープンソースの Kubernetes プラットフォーム上の NVIDIA NIM により、ユーザーは API 呼び出しで大規模言語モデルを展開可能に
NVIDIA NIMとKServeの連携で、AIの利用がより簡単に
「Kserve」とはなんですか？
KServeは、予測的および生成的AIモデルをKubernetes上で提供するための標準的な、クラウドに依存しないモデル推論プラットフォームです。これは、大規模な使用ケースを想定して設計されています。
KServeは、以下のような特徴を持っています:
オープンソース: KServeはオープンソースのソフトウェア。
Kubernetesベース: KServeはKubernetes上で動作し、ソフトウェアコンテナを展開および管理するためのオープンソースシステムであるKubernetesに基づいています。
機械学習ツールキット: KServeは、Kubeflowの一部として始まり、AI推論の取り組みを拡大するにつれてKServeが誕生し、最終的には独自のオープンソースプロジェクトへと進化しました。
標準プロトコル: KServeは標準プロトコルを使用し、最適化されたパフォーマンスで実行され、ユーザーがAIフレームワークの詳細を知らなくてもPyTorch、Scikit-learn、TensorFlow、XGBoostをサポートします。
スケーラブル: KServeは、大規模な分散アプリケーションのすべてのコンポーネントを保持するソフトウェアコンテナーを展開および管理するためのオープンソースシステムであるKubernetesに基づく機械学習ツールキットであるKubeflowの一部として始まりました。
NVIDIA NIMとKServeの連携:
オープンソースのKubernetesプラットフォームを使って、NVIDIAの生成AIモデル（NIM）をクラウドやデータセンターに簡単に展開できます。
KServeは、AIモデルの自動化と管理を行うツールで、AI推論の展開を支援します。
生成AIの展開が簡単に:
API呼び出しを使うだけで、複雑なAIモデルを簡単に利用可能。
企業のIT管理者は、クラウドやデータセンターでAIモデルを最適な状態で実行できます。
幅広いプラットフォームに対応:
Canonical、Nutanix、Red Hatなど、多数の企業がNIMをサポート。
これにより、多くのエンタープライズプラットフォームでNIMが利用可能に。
「Redhat」とはなんですか
Red Hatとは、オープンソースソフトウェアの提供を専門とするアメリカのソフトウェア会社です。以下の点で有名です。
1）. Red Hat Enterprise Linux (RHEL): Red Hatの主力製品で、エンタープライズ向けのLinuxディストリビューションです。セキュリティ、パフォーマンス、信頼性に優れ、企業のミッションクリティカルなシステムで広く利用されています。
2） オープンソースの推進: Red Hatは、オープンソースソフトウェアの開発と普及に大きく貢献しています。LinuxカーネルやKubernetes、Ansible、OpenShiftなどのオープンソースプロジェクトに積極的に参加し、支援しています。
3） Red Hat OpenShift: Kubernetesを基盤としたコンテナオーケストレーションプラットフォームで、コンテナ化されたアプリケーションの開発、デプロイ、管理を簡素化します。
４） Ansible: IT自動化ツールで、インフラストラクチャのプロビジョニング、構成管理、アプリケーションデプロイメントを自動化します。
5） サポートとサービス: Red Hatは、企業向けに商業サポート、コンサルティング、トレーニングサービスを提供しており、企業がオープンソース技術を最大限に活用できるよう支援します。
2019年にIBMに買収されましたが、独立した子会社として運営され続けています。Red Hatは、オープンソースソフトウェアのビジネスモデルを確立し、企業に信頼性の高いソリューションを提供することで、IT業界において重要な役割を果たしています。
主要なポイント：
NVIDIA NIM: 生成AI推論マイクロサービス。
KServe: AIモデルの自動化と管理ツール。
API呼び出し: 簡単にAIモデルを利用可能。
広範なプラットフォームサポート: 多数の企業がNIMを提供。
これにより、企業は生成AIを簡単に展開し、利用できるようになります。
わかりやすく書き直した文章
NVIDIA NIMとKServeの連携で生成AIの利用がより簡単に
1. NVIDIA NIMとKServeの連携:
NVIDIAの生成AI推論マイクロサービスであるNIMが、オープンソースのKubernetesプラットフォームで動作するKServeと統合されました。この統合により、クラウドやデータセンターで大規模な言語モデルを簡単に展開できるようになりました。Canonical、Nutanix、Red Hatなどのプロバイダーが提供するプラットフォームで利用可能です。
2. 生成AIの展開が簡単に:
企業における生成AIの展開がこれまで以上に簡単になります。NVIDIA NIMは、クラウドコンピューティングアプリケーションの規模でAIモデルを自動化するKServeと連携します。この組み合わせにより、生成AIを他の大規模なエンタープライズアプリケーションと同様に展開可能になります。API呼び出しを使うだけで、複雑なAIモデルを簡単に利用できます。
3. KServeの役割:
KServeは、大規模な分散アプリケーションのコンポーネントを管理するオープンソースシステムであるKubernetesに基づく機械学習ツールキットであるKubeflowの一部として始まりました。現在、KServeは独自のオープンソースプロジェクトとして進化し、多くの企業に採用されています。AWS、Bloomberg、Canonical、Cisco、Hewlett Packard Enterprise、IBM、Red Hat、Zillow、NVIDIAなどの企業が貢献しています。
4. KServeの機能:
KServeは、AI推論を強力なクラウドアプリケーションのように実行するKubernetesの拡張機能です。PyTorch、Scikit-learn、TensorFlow、XGBoostなどのAIフレームワークをサポートし、ユーザーはAIフレームワークの詳細を知らなくても利用できます。また、新しい大規模言語モデル（LLM）の迅速な展開をサポートし、モデルの更新や「カナリアロールアウト」機能により、段階的な本番環境への展開が可能です。さらに、GPU自動スケーリング機能により、サービスの需要に応じて効率的にモデルを展開できます。
5. API呼び出しで生成AIを簡単に利用:
KServeの優れた機能とNVIDIA NIMの使いやすさが組み合わさることで、企業のIT管理者は、使用しているAIモデルを変更しても最適なパフォーマンスと効率を維持するためのメトリックを簡単に取得できます。NIMを使用すると、単純なAPI呼び出しで複雑な処理を引き受けることができ、ITプロフェッショナルは生成AIの専門家となり、企業の業務を変革することができます。
6. 多数のプラットフォームで利用可能:
KServeとの統合により、CanonicalのCharmed KubeFlowやCharmed Kubernetes、Nutanix GPT-in-a-Box 2.0、Red HatのOpenShift AIなど、多数のエンタープライズプラットフォームでNIMを利用できるようになります。Red Hat、Nutanix、Canonicalなどの企業も、NIMのサポートを追加することで、顧客にNVIDIAの生成AIプラットフォームへの効率的なアクセスを提供しています。
7. オープンソースコミュニティへの貢献:
NVIDIAは、KServeプロジェクトに長く貢献しており、オープンソースソフトウェアへの支援を続けています。NVIDIA Triton Inference Serverなどの技術もKServeで使用されており、多くのGPUとフレームワークで同時にAIモデルを実行できます。今後もNVIDIAは、生成AIやその他のプロジェクト向けのオープンソースコードをサポートし、Cloud Native Computing Foundationの積極的なメンバーとして活動していきます。
結論:
これらの連携により、企業は生成AIを簡単に展開し、利用できるようになります。Llama 3 8BやLlama 3 70B LLMモデルなど、NVIDIA APIカタログのNIM APIが有効です。世界中の多くのNVIDIAパートナーが、NIMを活用して生成AIを展開しています。
この記事が気に入ったらサポートをしてみませんか？