RetNet

書いてみる

関連タグ

#RWKV (37)
#transformer (312)
#メモリ (907)
#モデル (14,373)
#Arxivデータセット (1)
#BPTT (2)

気になったのでシュッと RetNet を調べてみた

bbz
1年前

シンプルさと計算効率の間で： Transformerアーキテクチャの強みってなに？

Koboichi
2か月前

Scaling Transformer to 1M tokens and beyond with RMT

Ikemen Mas Kot
5か月前

Retentive Network: A Successor to Transformer for Large Language Models

Ikemen Mas Kot
6か月前