1F1B

書いてみる

関連タグ

#Seq1F1B (1)
#シーケンス (106)
#シーケンスパーティショニング (1)
#トランスフォーマー (975)
#トレーニング (54,468)
#パイプライン (269)

Seq1F1B: Efficient Sequence-Level Pipeline Parallelism for Large Language Model Training

Ikemen Mas Kot
3週間前