SpQR なるものをシュッと

最近 twitter で QR コードを埋め込むのがタイムラインにいっぱい流れてきましたね～～

その名も Super QR

嘘ですごめんなさいm(__)m
（QR コードと画像の融合は実際にあったよ）

SqQR とは？

Sparse-Quantized Representation の略でございます。

なにそれ？(　ﾟдﾟ)

となるでしょう。そうでしょう。

最近いろいろな LLM（大規模言語モデル）が出てくるもののことごとく大きくて扱いづらいのでなんとか小さくしようぜ！！

っていう流れからのその手法の一つでござる。

で、その論文をシュッと読んだので記録のために書いておく。

そういうこと。

SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression

ちょっと前に GPTQ っていう似たような論文のことをかきましたがこれとはまたアプローチがちょいと違うでござる。

GPTQ は量子化（モデルの軽量化）をする際に最適なパラメータ設定を学習して損失を極力抑えつつ、さらに蒸留（強くて大きなモデルから小さくて強いモデルをつくるやつ）を組み合わせることで実現しておりました。

では SpQR は？

SpQR さんは学習時の重みに目を付けたわけでございます。

重みって全部等しく評価してるけどそれってホントに大事なの？？？？

うーーーん？(-ω-)

って感じ。

で、実際のところ重みそれぞれに出力に与える影響が違うという前提のもと、影響度大きいものは高精度の情報を保持し続けて、影響の小さいものはシュッと小さくしちゃおう。

という感じ。

小さくはなるのだけれども、小さくしたのは影響度の少ないものだから、結果的に軽くて性能がそんな変わらないものができるということですね。

はい。

自分が納得したのでおしまい。