INT8

書いてみる

関連タグ

#大規模言語モデル (2,193)
#ChatGPT (72,748)
#ChatRWKV (4)
#GPU最適化 (1)
#LLM (4,734)
#モデル (12,724)

QServe: W4A8KV4 Quantization and System Co-design for Efficient LLM Serving

Ikemen Mas Kot
2か月前

大規模言語モデルRWKVをローカルPCで試す

Ko Onuma
1年前