BitNetの計算を検討する。

はじめに2024年1月27日に発表された『The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits』は衝撃的でした。これまで8bitなどに量子化することはよくありました。8bitの場合、ほぼ連続といっていい数値を2の8乗、つまり256段階に割り振り粗くします（このように数値を段階に割り振ることを「量子化」と言います）。量子化をすることで数値の精度は落ちますが、その分メモリの使用領域が少なくて済むトレー