LLama2の訓練可能な全層をQLoRAで学習する

はじめにLLama2はMetaが23年7月に公開した､GPT-3に匹敵するレベルのオープンソース大規模言語モデル(LLM)です｡

最近はFalcon 180bのような､より大きなモデルも出ていますが､デファクトスタンダードとして定着している感があります

LLMに新たな情報を加える手法として､ファインチューニング､特にQLoRAが注目されています｡

しかしQLoRA､特に初期設定では一部のパラ