FLOPs利用率

書いてみる

関連タグ

#A100 (16)
#Jaxライブラリ (1)
#TPUv4 (1)
#コンテキスト (309)
#コンテキストサイズスケーリング (1)
#データ並列性 (2)

Ring Attention with Blockwise Transformers for Near-Infinite Context

Ikemen Mas Kot
1か月前