4bit

書いてみる

関連タグ

#ELYZA (120)
#GoogleColab (1,029)
#LLM (4,401)
#Llama (235)
#ストリーミング (1,074)

Google Colab 無料版でELYZA-japanese-Llama-2-7b-instruct(4bit量子化 GPTQ)を爆速ストリーミングしてみた

smorce
9か月前