PagedAttention

書いてみる

関連タグ

#FlashAttention (4)
#GPU仮想メモリ (1)
#LLM推論 (1)
#vAttention (1)
#カーネル (173)
#パフォーマンス最適化 (4)

vAttention: Dynamic Memory Management for Serving LLMs without PagedAttention

Ikemen Mas Kot
3週間前