INT8

書いてみる

関連タグ

#大規模言語モデル (2,485)
#ChatGPT (84,613)
#ChatRWKV (4)
#GPU最適化 (1)
#LLM (5,869)
#モデル (14,262)

QServe: W4A8KV4 Quantization and System Co-design for Efficient LLM Serving

Ikemen Mas Kot
5か月前

大規模言語モデルRWKVをローカルPCで試す

Ko Onuma
1年前