ReFT: Representation Finetuning for Language Models
下記の文章は論文のアブストラクトをChatGPTに解釈させたものであり、正確性は保証しません。
本研究は、従来の研究と比較して、新しい手法であるRepresentation Finetuning（ReFT）を開発したことを述べています。先行研究では、パラメータの一部を更新することでモデルの適応性を高めるParameter-efficient finetuning（PEFT）手法が提案されてきましたが、本研究ではモデルの表現（representation）を編集することでタスクに特化した介入（interventions）を学習します。具体的には、モデルの表現を操作することで、タスクの解決に必要なモデルの振る舞いを制御します。ReFT手法は、PEFT手法に比べて効率的かつ効果的な代替手法としての可能性があるとされています。
本研究の目的は、モデルの重みを更新する代わりに、表現を編集することでタスクに特化した介入を学習するReFT手法を開発することです。従来のPEFT手法が重みを変更するのに対して、ReFT手法では表現を操作することでモデルの振る舞いを制御します。この手法は、モデルの表現が豊かな意味情報をエンコードしていることが示されているため、より強力な代替手法となる可能性があります。
本研究では、既存のPEFTの一部として開発されたLoReFTという手法を用いました。LoReFTは、凍結されたベースモデル上で動作し、隠れた表現に対してタスク固有の介入を学習します。具体的には、低ランク線形部分空間（Low-rank Linear Subspace）内のモデルの表現を操作することで、パラメータ効率が従来のPEFT手法の10倍から50倍向上します。本研究では、LoReFTを8つの常識的な推論タスク、4つの算術推論タスク、Alpaca-Eval v1.0、およびGLUEに適用しました。これらの評価において、LoReFTは効率とパフォーマンスのバランスが最も良く、ほぼ常に従来のPEFT手法を上回る結果を示しました。本研究では、ReFTトレーニングライブラリを一般公開しています。
本研究で用いた手法は、表現を編集することでタスクに特化した介入を学習するReFT手法であり、LoReFTという具体的な手法を開発しました。LoReFTは、凍結されたベースモデル上で動作し、低ランク投影行列によって張られる線形部分空間内の隠れた表現に介入します。この手法は、分散アライメントサーチ（DAS）手法をベースにしており、既存のPEFT手法と比較して10倍から50倍のパラメータ効率を実現します。本研究では、LLaMAファミリーモデルと小規模な言語モデルを対象にLoReFTを評価し、共通感覚推論、算術推論、命令の追跡、自然言語理解の標準ベンチマークで他のPEFT手法と比較しました。LoReFTは、LoRAに比べて10倍から50倍少ないパラメータを使用しながら、ほとんどのデータセットで最先端のパフォーマンスを実現しました。
本研究により明らかになったことは、表現を編集するReFT手法が、従来の重み更新に基づくPEFT手法と比較して、より効率的かつ効果的な手法であることです。LoReFTは、既存のPEFT手法よりも少ないパラメータを使用しながら、標準ベンチマークの多くのタスクで競争力のある、または最先端のパフォーマンスを実現しました。これらの結果から、ReFT手法は、重みベースのPEFT手法に比べてより効率的かつ効果的な代替手法として注目されるべきであると結論付けられます。
この記事が気に入ったらサポートをしてみませんか？