デコーディング遅延

書いてみる

関連タグ

#StreamingLLM (2)
#アテンションシンク (1)
#キャッシュサイズ (2)
#ストリーミング (1,114)
#ストリーミングLLM (1)
#トークン (3,600)

Efficient Streaming Language Models with Attention Sinks

Ikemen Mas Kot
3か月前