Amazon EKS で構築する生成 AI モデルのワークフロー

標準化のための多面的な投資

• クラスターの管理コストが1/3に

  • 1人の管理者が運用できるk8sクラスターが10→30に

• CI/CDの整備

  • オリジナルのCI/CDから、ArgoCDとGitOpsに移行

  • 汎用的な仕組みにより、生成AIのワークロードにも対応

• 開発者体験の向上

  • 単一のポータルでシンプルに開発と運用ができるように整備

k8sにおける機械学習

• 課題

  • 依存関係の管理

  • リソース準備のスケーリング

  • インテグレーション

  • セキュリティ・コンプライアンス

  • Time to Marketの短縮

→ コンテナを使うことによって一貫性が保たれる

k8sを選ぶ理由

• スケーラビリティ

• リソース使用率の改善

• 組織における標準化

• オープンソースコミュニティ

→ k8s環境を活用してTime to Marketを短縮

生成AIのためのEKS

• 生成AIモデルの推論はWebアプリケーションと同じような課題が出てくる

• 大規模のワークロードの場合9割が推論のコストになっている

Karpenter

• 既存のEKSで運用が複雑すぎる声があり作られた

  • 機械学習のワークロードにマッチしている

生成AIのためのEKSワークフロー構築

• k8sに組み込みのML APIがない

• データサイエンティストはk8sの専門家ではない

• MLOpsのベストプラクティスに追随

• EKSのMLオーケストレーションPF

→ JARK stack on EKS

まとめ

• Time to Marketの加速

  • 基盤の再使用及び拡張

• コスト最適化

  • OSSやKarpenterの活用

• スケーラビリティ

  • EKSのコントロールプレーン

  • ノードのオートスケーリング

• JARK stack

  • MLスタックの構築支援するプロジェクト