Alpacaデータセットによる RWKV のファインチューニングを試す

「Google Colab」で「Alpacaデータセット」による「RWKV」のファインチューニングを試したのでまとめました。

前回

1. alpaca_ja

今回は、Alpacaデータセットの日本語版「alpaca_ja」を使います。

2. ChatRWKVのプロンプトの確認

「ChatRWKV」で、モデルに入力されるプロンプトを確認します。
以下のように、print()を追加しました。

print("--[prompt]--\n", new, "----")
out = run_rnn(pipeline.encode(new))

「+i 富士山の高さは？」と入力した時の時のプロンプトは、次のとおりでした。

これは、Alpacaモデルで使われていた学習データの書式になります。
(#の数は3個から1個に減ってる)

「+i」がない場合は、次のようなプロンプトでした。

3. Alpacaの学習データの書式

「Alpaca」の学習データの書式は、次のとおりです。

・入力がInstructionとInputの場合

Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.

### Instruction:
<Instruction>

### Input:
<Input>

### Response:

・入力がInstructionのみの場合

Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{instruction}

### Response:

4. alpaca_jaをChatRWKV用に変換

「alpaca_cleand_ja.json」をAlpacaの学習データの書式の#1個版に変換します。

[
{"instruction":  "健康維持のための3つのコツを教えてください。",
  "input":"",
  "output":"1、バランスのとれた食事を摂り、野菜や果物を十分に摂ること。2、定期的に運動をして体の活力を保つこと。3、睡眠時間を十分にとり、規則正しい睡眠をとること。\n"
},
    :

    ↓

Below is an instruction that describes a task. Write a response that appropriately completes the request.

# Instruction:
健康維持のための3つのコツを教えてください。

# Response:
1、バランスのとれた食事を摂り、野菜や果物を十分に摂ること。2、定期的に運動をして体の活力を保つこと。3、睡眠時間を十分にとり、規則正しい睡眠をとること。
<|endoftext|>
    :

変換用のコードは、次のとおりです。

・convert.py

import json


# JSONの読み込み
def read_json(filename):
    with open(filename, "r") as f:
        return json.load(f)


# テキストファイルの書き込み
def write_text(filename, text):
    with open(filename, "w") as f:
        f.write(text)


# プロンプトの生成
def generate_prompt(instruction, input, output):
    if input != "":
        return f"""Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.

# Instruction:
{instruction}

# Input:
{input}

# Response:
{output}
<|endoftext|>
"""
    else:
        return f"""Below is an instruction that describes a task. Write a response that appropriately completes the request.

# Instruction:
{instruction}

# Response:
{output}
<|endoftext|>
"""


# JSONの読み込み
dataset = read_json("alpaca_cleaned_ja.json")

# テキストの生成
output = ""
for item in dataset:
    if len(item.keys()) > 0:
        output += generate_prompt(
            item["instruction"].strip(),
            item["input"].strip(),
            item["output"].strip()
        )

# ファイル出力
write_text("alpaca_cleaned_ja.txt", output)

5. 学習と推論

学習と推論は、前回・前々回と同様です。
試しに「RWKV 149M」で100エポック学習しました。そして、Instructionの回答をResponseに記述することを覚えていることが確認できました。
(回答の正しさはモデルが小さいこともあり怪しい)

・学習前

・学習後

Unityではじめる機械学習・強化学習 Unity ML-Agents 実践ゲームプログラミング v2.2対応版