AutoModelForCausalLMのquantization_configに渡すことで量子化する

書いてみる

関連タグ

#GoogleColaboratory (99)
#Lama (24)
#MLX (54)
#MacOS (960)
#QLoRA (26)
#マージ (146)

Google ColabでQLoRA したLlama-3をMLXモデル(macOS)へ変換する

masato-ka
3か月前