ExLlama

書いてみる

関連タグ

#LLM (5,829)
#GPTQ (14)
#GoogleColab (1,114)
#TextGenerationWebUI (24)
#python (162,595)

【ローカルLLM】ExLlamaでtext-generation-webuiによるテキスト生成を高速化する

Baku
1年前

text-generation-webuiで、ELYZA-japanese-Llama-2-7n-fast-instructをExLlamaでロードし、LoRA適用してみる

saip(さいぴ)
1年前

exllama+GPTQをgoogle colabで試してみた

しば🐕AI
1年前