RetNet

書いてみる

関連タグ

#メモリ (756)
#モデル (12,442)
#Arxivデータセット (1)
#BPTT (1)
#ERNIE (8)
#FlashAttention (6)

気になったのでシュッと RetNet を調べてみた

bbz
11か月前

Scaling Transformer to 1M tokens and beyond with RMT

Ikemen Mas Kot
1か月前

Retentive Network: A Successor to Transformer for Large Language Models

Ikemen Mas Kot
2か月前