スライディングウィンドウ

書いてみる

関連タグ

#モデル (13,315)
#LLaMAモデル (2)
#アクティベーションビーコン (1)
#コンテキスト (328)
#タスク (6,664)
#データセット (855)

Simple linear attention language models balance the recall-throughput tradeoff

Ikemen Mas Kot
4か月前

Soaring from 4K to 400K: Extending LLM's Context with Activation Beacon

Ikemen Mas Kot
4か月前