佐野敏幸
はじめに2024年1月27日に発表された『The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits』は衝撃的でした。これまで8bitなどに量子化することはよくあ…
2024年3月21日 02:37
はじめに2024年1月27日に発表された『The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits』は衝撃的でした。これまで8bitなどに量子化することはよくありました。8bitの場合、ほぼ連続といっていい数値を2の8乗、つまり256段階に割り振り粗くします(このように数値を段階に割り振ることを「量子化」と言います)。量子