特異値分布

書いてみる

関連タグ

#5グラム言語モデル (1)
#パープレキシティ (25)
#モデル (12,664)
#性能 (850)
#研究 (33,131)
#表現 (34,675)

Why do small language models underperform? Studying Language Model Saturation via the Softmax Bottleneck

Ikemen Mas Kot
3か月前