データ並列性

書いてみる

関連タグ

#モデル (12,381)
#A100 (16)
#FLOPs利用率 (1)
#Holmes (62)
#Jaxライブラリ (1)
#LLMトレーニングフレームワーク (1)

Ring Attention with Blockwise Transformers for Near-Infinite Context

Ikemen Mas Kot
1か月前

Holmes: Towards Distributed Training Across Clusters with Heterogeneous NIC Environment

Ikemen Mas Kot
2か月前