大規模言語モデルにおいて､「知識は全結合層に蓄積される」という仮説についての文献調査
はじめに
大規模言語モデル(LLM)にファインチューニングで新たな知識を入れられないか､検討しています｡
そろそろ論文を書くモードに入ってきたので､preprintなどを読みながら､周辺状況を整理中です｡
本記事は､その一環の勉強メモです｡
最近気になっているのは､「知識は全結合層に蓄積されている」という仮説です｡この点について､調べていきます｡
(参考)
今週､ファインチューニング関連でPFNのインターン記事が公開されていました｡丁寧に解説されており､非常に参考になります｡
「知識は全結合層に蓄積されている」という仮説
背景
「知識は全結合層に蓄積されている」という仮説が提唱されている。
この仮説は、ニューラルネットワークの構造において、全結合層が情報の蓄積や特徴の抽出において重要な役割を果たしているとするものである。一方、transformerのモデルは、その独特のattention層により、文の中の各単語やフレーズ間の関連性を捉える能力に優れている。しかし、このattention層のみをファインチューニングしても、新たな知識をモデルに追加することはできないと一部では言われている。これは、attention層は既存の知識を適切に関連付ける役割は果たせるものの、新しい情報を取り込む機能には限界があるという考え方に基づく。このため、新しい知識の取り込みや学習の際には、全結合層の役割が不可欠であるとされている。
これが本当なのか､調べる必要があります｡
プレプリントの中身
こちらの記事によると､出典(?)は以下のプレプリントのようです｡これを読んでいきます｡
google上では130回以上､引用されているので､それなりに定評のあるpreprintと言えます｡
Claude 2に読んでもらう
まずは､昨日くらいから話題のClaude 2にpdfを丸投げして､Q&Aに回答してもらいます｡
少し原文を読む
原文も流し読みしました｡
要するに､全結合層を色々と制御・分析しながら､様々なタスクを解く感じの研究のようです｡
以下､ConclusionをGPT-4で日訳した文章です｡
私たちは、事前に学習されたトランスフォーマーで事実の知識を表現する知識ニューロンを特定するための帰属方法を提案します。知識ニューロンの活性化を抑制または増幅することで、知識の表現の強さに応じて影響を与えることができることを発見しました。さらに、オープンドメインのテキストに対する定量的および定性的な分析では、知識ニューロンが対応する知識表現プロンプトによって活性化される傾向があることが示されています。さらに、事前に学習されたトランスフォーマーでの知識の更新または消去を試みる2つの予備的なケーススタディを示します。知識ニューロンの特定の有効性にもかかわらず、現在の研究にはまだ制約があります。まず、知識の表現がより暗黙的な方法で行われる一方で、ブランクを埋めるクローズタスクを基に知識ニューロンを調査します。トランスフォーマーが推論のような一般化された方法で保存された知識を利用できるかどうかはオープンな問題です。知識ニューロン間の相互作用もまだ探求されていません。次に、評価の容易さのために事実知識に焦点を当てていますが、他の知識の種類にも当てはまる方法です。第三に、私たちは単純さのためにクローズクエリで単語の空白を使用しますが、複数の単語の拡張が必要です（Jiang et al., 2020a）。さらに、興味深い未来の方向性として、知識ニューロンが多言語の事前に学習されたトランスフォーマーでどのように機能するかを見つけることが挙げられます（Conneau and Lample, 2019; Conneau et al., 2020; Chi et al., 2021）。
まとめ
「知識は全結合層に蓄積される」という表現は､ややラジカルで､
少なくともこの論文では「全結合層は知識獲得において重要」という程度
の､もう少しマイルドな主張をしているように見受けられました｡
備考
・他の論文についても調査が必要そうです
・BERTと最近の大規模言語モデルの違いについても､考慮する必要はありそうです｡
参考: 2つ目の論文
上記の論文において､feed-forward層の前提情報(key, valueとして機能する)として引用されていたプレプリント(Geva et al., 2020)についても読んでみました｡
Claude2に読ませて質問しました｡
こちらの論文は､知識云々と言うよりは､transformer内部の動作について調べた研究のようです｡
DiscussionとConclusionをGPT-4で日訳しました｡
トランスフォーマーの動作方法とその理由を理解することは、モデルの解釈可能性、データセキュリティ、より優れたモデルの開発を含む、現代のNLPの多くの側面にとって重要です。フィードフォワード層はトランスフォーマーのパラメータの大部分を占めていますが、そのネットワークでの機能についてはほとんど知られていません。本研究では、フィードフォワード層がキー・バリューのメモリを模倣すると提案し、以下の実験セットを提供します：(a) キーは人間が解釈可能な入力パターンと相関している；(b) バリューは、主にモデルの上層で、対応するキーのパターンの次のトークンの分布と相関する出力語彙上の分布を誘導する；(c) モデルの出力は、これらの分布の集約を通じて形成され、それらはまず個々の層の出力を形成するために組み立てられ、その後、残差接続を使用してモデルの層全体で洗練される。 私たちの発見は、重要な研究の方向性を開きます：
• 層の埋め込み空間。出力語彙上のバリュー分布とキーのパターンとの間の相関を観察しますが、これは層の出力空間が層を超えて変換されるためでしょうか？ その場合、どのように？ フィードフォワード層の関数だけでこの可能な変換を説明することはできないと考えています。したがって、変換はフィードフォワード層と自己注意層との間の相互作用に関連している可能性があります。
• 言語モデリングを超えて。フィードフォワードネットワークをキー・バリューメモリとしての公式化は、BERTのエンコーダーやニューラル翻訳モデルなど、任意のトランスフォーマーモデルに一般化できます。したがって、私たちは、我々の定性的な経験的観察が多様な設定で保持されることを期待しており、これの検証は将来の作業に残しています。
• 実用的な意味合い。フィードフォワード層のより良い理解は、NLPに多くの意味を持っています。例えば、将来の研究では、パターン識別プロセスを自動化することによって解釈可能性の方法を提供するかもしれません；メモリセルは、ホワイトボックスのメンバーシップ推論を容易にする可能性があるため、訓練データのプライバシーに影響を与えるかもしれません（Nasr et al.、2019）；そして、正しいパターンが識別されたが、集約中に抑制されたケースを研究することは、建築的な新規性を導くかもしれません。 したがって、フィードフォワード層の役割を明らかにすることで、トランスフォーマーの内部の動きのより良い理解に向かって進むとともに、現代のNLPモデルに関する新しい研究のスレッドを開きます。
この記事が気に入ったらサポートをしてみませんか？