自己注意力メカニズム

書いてみる

関連タグ

#トランスフォーマー (975)
#モデル (12,318)
#A100 (16)
#FLOPs利用率 (1)
#Jaxライブラリ (1)
#TPUv4 (1)

Ring Attention with Blockwise Transformers for Near-Infinite Context

Ikemen Mas Kot
1か月前

On the Long Range Abilities of Transformers

Ikemen Mas Kot
1か月前