佐野敏幸

佐野敏幸

マガジン

記事一覧

BitNetの計算を検討する。

はじめに2024年1月27日に発表された『The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits』は衝撃的でした。これまで8bitなどに量子化することはよくあ…

佐野敏幸
4か月前
2

BitNetの計算を検討する。


はじめに2024年1月27日に発表された『The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits』は衝撃的でした。これまで8bitなどに量子化することはよくありました。8bitの場合、ほぼ連続といっていい数値を2の8乗、つまり256段階に割り振り粗くします(このように数値を段階に割り振ることを「量子化」と言います)。量子

もっとみる