DISTFLASHATTN

書いてみる

関連タグ

#メモリ (780)
#本研究 (569)
#比較 (8,244)
#高速化 (277)

DISTFLASHATTN: Distributed Memory-efficient Attention for Long-context LLMs Training

Ikemen Mas Kot
3か月前