LLaMA-Factoryの論文紹介

論文名

LLAMAFACTORY: Unified Efficient Fine-Tuning of 100+ Language Models

arXivリンク

https://arxiv.org/pdf/2403.13372.pdf

ひとこと要約

簡単かつ効率的にLLMのファインチューニングを行うためのフレームワークであるLLaMA-Factoryの紹介

---

メモ

LLaMA-Factoryの特長

• モデル、データセット、トレーニング手法間の依存関係を最小限に抑えるモジュール設計により、100以上のLLMを効率的にファインチューニングできる

• 簡単かつ効率的にファインチューニングできる

LLaMA-Factoryのコンポーネント

• Model Loader:様々なモデルアーキテクチャの準備

• Data Worker:データセットの処理

• Trainer:効率的なファインチューニング

• LlamaBoard: Webインターフェース、引数設定、学習監視、評価実行などノーコードで実装

サポート

• ファインチューニング

  • freeze-tuning: 大部分のパラメータを固定し、デコーダ層の一部のみファインチューニング

  • GaLore: 勾配を低ランク空間に射影し、メモリ効率の良いフルパラメータチューニング

  • LoRA: 事前学習済みの重みを固定し、低ランク行列のペアを導入

  • QLoRA: 量子化と組み合わせたLoRA

  • DoRA: 重みを大きさと方向に分解し、方向成分のみLoRAを適用

  • LoRA+: LoRAの改良

• 高速化・効率化

  • flash attention: ハードウェアフレンドリーなアテンション計算

  • S2 attention: スパース性を持ったアテンション。(長いコンテキスト長に対応)

  • 量子化: 低精度表現によるメモリ使用量削減

  • Unsloth: LoRAの勾配計算の高速化

  • その他:mixed precision、activation checkpointing

• 学習手法

  • SFT

  • RLHF

  • DPO