#大規模言語モデル
大規模言語モデルにおいて、「知識は全結合層に蓄積される」という仮説についての文献調査
はじめに大規模言語モデル(LLM)にファインチューニングで新たな知識を入れられないか、検討しています。
そろそろ論文を書くモードに入ってきたので、preprintなどを読みながら、周辺状況を整理中です。
本記事は、その一環の勉強メモです。
最近気になっているのは、「知識は全結合層に蓄積されている」という仮説です。この点について、調べていきます。
(参考)
今週、ファインチューニング関連でPFN