特異値分布

書いてみる

関連タグ

#5グラム言語モデル (1)
#パープレキシティ (51)
#モデル (14,262)
#性能 (1,031)
#研究 (36,572)
#表現 (37,937)

Why do small language models underperform? Studying Language Model Saturation via the Softmax Bottleneck

Ikemen Mas Kot
6か月前