Hugging Face PEFTライブラリの紹介①

更新情報

• v1: 2023年7月14日

---

概要

Hugging Face PEFTライブラリについて簡単にまとめました。
公式リポジトリはこちらです。

---

実装されているPEFT手法

2023年7月14日では5種類が実装されています。
PEFTの種類の中ではLoRA系とSoftPrompt系に分けられるかと思います。

v0.3.0からAdaLoRAが追加されていました。

1. LoRA: LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS

2. Prefix Tuning: Prefix-Tuning: Optimizing Continuous Prompts for Generation, P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks

3. P-Tuning: GPT Understands, Too

4. Prompt Tuning: The Power of Scale for Parameter-Efficient Prompt Tuning

5. AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning

---

チュートリアル

PEFTリポジトリ公式exampleから複数の例を確認できます。
公式のブログの方でもPEFTについての簡単な紹介と利用方法が紹介されています。

---

APIリファレンス

以下の3種類にカテゴライズできます。

• Model: QAや特徴量抽出のためのモデルのクラス

• Configuration: PEFTメソッドなどを設定するクラス

• Tuners: PEFTの各手法ごとのパラメータ設定のクラス

---

リリース情報

リリースの情報はGitHubリポジトリのReleasesから確認できます。
1~2ヶ月に一度マイナーバージョンアップデートがあるようですが、2023年7月14日のマイナーバージョンの更新は見られなかったので、そろそろ更新されるのではと思います。

• v0.1.0: 2023/2/11

• v0.2.0: 2023/3/10

• v0.3.0: 2023/5/4

---

ライブラリインストール

PEFTを利用しようと思うと以下の3種類の方法が存在します。

pipでinstallする場合

• PEFTはHuggingFaceがpeftライブラリとしてPyPIから利用できます。

pip install peft

GitHubから直接installする場合

• install先をGitHubのリポジトリに

pip install git+https://github.com/huggingface/peft

GitHubからcloneして開発者として利用する場合

• この場合は主にcontributionする場合などが多いと思います

• 開発者モードでライブラリを登録し利用します

git clone https://github.com/huggingface/peft
cd peft
pip install -e .