RedPajama-INCITE-7BをLoRAファインチューニングでハイパラ探索した結果

2023年5月25日 16:03

7Bのハイパラ探索をしてみたので結果を共有します。
ABCIを使用。エポックは全て6。rとalphaを変えただけの探索です

感想

以下、長い出力が続くので先に感想を書いておきます。
LoRAにおいて、rは次元数、alphaはスケーリングファクタということになっています。rが多いほどエポックが沢山必要になりそうな気がします(6エポックに対してr32は力不足か?)。スケーリングファクタも、デカすぎると調整が微妙になるのですが、今回の実験ではaが大きい方がrが大きいよりも良さそうに見えました。ただし、一番マシに見えるのがr16a8とr8a32だったので、このバランスは同じパラメータで何回もやらないとわからないかもなと思いました。本当を言うと、出力の評価も自動化したいんだけどまだ定性的な方法が定まってないので目視でやってます。

例えば「光の三原色は?」に対して、出てきた答えをGPT4あたりに判定させるとかすれば自動化できるかも。

また、布留川君(npaka)と話したところ、そもそも<eos>がちゃんと設定されてなくてこの設定だとうまくいかないそうなのでもう一回ハイパラ探索やり直した方が良さそうです。

r32a32

--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
光の三原色とは

### Response:
----

1. 光の三原色とは

2. 光の三原色とは

3. 光の三原色とは

4. 光の三原色とは

5. 光の三原色とは

6. 光の三原色とは

7. 光の三原色とは

8. 光の三原色とは

9. 光の三原色とは

10. 光の三原色と
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
富士山の登山ルートは

### Response:
----
富士山の登山ルートは

### ベストページ:

### アプリケーション:

### アプリケーションのバージョン:

### ダウンロード:

### アプリケーションのバージョン:

### サイト:

### サイトのバージョン:

### アプリケーションのバージョン:
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
世界で一番高い山は

### Response:
----
The tallest mountain in the world is Mt. Everest.

## 第２章 選択する

### 第１章 選択する

### 第２章 選択する

## 第３章 選択する

### 第１章 選択する

### 第２章 選択する

### 第３章 選択する

## 第４章 選
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
日本で一番偉い人は

### Response:
----
I'm not sure if you mean "the most honest person in Japan" or "the most dishonest person in Japan."

### お願い:
日本で一番偉い人は

### レビュー:
I'm not sure if you mean "the most honest person in Japan" or "the most dishonest person in Japan."

### お願い:
日本で一番偉い人は

### レビュー:
I'm not sure if you mean "the most honest person in Japan" or "the
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
世界で一番強い人は

### Response:
----
世界で一番強い人は

### メッセージ

世界で一番強い人は

### 問題

### 答え

世界で一番強い人は

### メッセージ

世界で一番強い人は

### 問題

### 答え

世界で一番強い人は

### メッセージ

世界で一番強い人は

r32a16

--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
光の三原色とは

### Response:
----

> 光の三原色とは、光の三原色は、光の長さが短いことから、光の長さが短いことから、光の長さが短いことから、光の長さが短いことから、光の長さが短いことから、光の長さが短いことから、光の長さが短いことから、光の長さが短いことから、光の長さが短いことから、
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
富士山の登山ルートは

### Response:
----

The mountain route at Fushimi-inari Taisha is called the _torii_ ( _torii_ 徑) path. It is the most popular route for visiting the shrine, and it is lined with thousands of torii gates.

The torii gates are made of _shakudō_ ( _shakudō_ 石垣), a type of _shakudō_ that is made of _shakudō_ with a base of _shakudō_ with a base of _shakudō_, and the top is made of _
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
世界で一番高い山は

### Response:
----
The tallest mountain in the world is Mount Everest.

### は

### は

### は

### は

### は

### は

### は

### は

### は

### は

### は

### は

### は

### は

### は

### は

### は

### は

### は

### は

### は

### は

### は

--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
日本で一番偉い人は

### Response:
----
I am the most polite person in Japan.

## 第二章 【コンテンツ】

### 第一章 【文章】

### 第二章 【コンテンツ】

### 第三章 【コンテンツ】

### 第四章 【コンテンツ】

### 第五章 【コンテンツ】

### 第六章 �
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
世界で一番強い人は

### Response:
----
世界で一番強い人は

## スクリーンショット

### プログラム

### リソース

### タイトル

### スクリーンショット

### コンテンツ

### スクリーンショットのタイトル

### スクリーンショットのコンテンツ

### スクリーンショットのコンテンツ

### ス

r32a8

--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
光の三原色とは

### Response:
----

光の三原色とは、

* 光の三原色は、

* 光の三原色は、

* 光の三原色は、

* 光の三原色は、

* 光の三原色は、

* 光の三原色は、

* 光の三原色は、

* 光の三原色は、

* 光の三原色は、

* 光の三原色
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
富士山の登山ルートは

### Response:
----

1. 富士山の登山ルートは、

2. 富士山の登山ルートは、

3. 富士山の登山ルートは、

4. 富士山の登山ルートは、

5. 富士山の登山ルートは、

6. 富士山の登山ルートは、

7. 富士
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
世界で一番高い山は

### Response:
----
世界で一番高い山は、ただのの、世界の中にある。

### 例:
世界で一番高い山は、ただのの、世界の中にある。

### 例:
世界で一番高い山は、ただのの、世界の中にある。

### 例:
世界で一番高い山は、ただのの、世界の中にある。

### 例:
世界で一
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
日本で一番偉い人は

### Response:
----
日本で一番偉い人は

## プレゼンテーション

### プレゼンテーション

### プレゼンテーション

### プレゼンテーション

### プレゼンテーション

### プレゼンテーション

### プレゼンテーション

### プレゼンテーション

### プレ
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
世界で一番強い人は

### Response:
----
世界で一番強い人は

### 解説:
世界で一番強い人は

### 解説:
世界で一番強い人は

### 解説:
世界で一番強い人は

### 解説:
世界で一番強い人は

### 解説:
世界で一番強い人は

### 解説:
世界で一番強

r16a32

--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
光の三原色とは

### Response:
----
光の三原色とは

## 第４章 「ハンター」の節

### 第４章 「ハンター」の節

### 「ハンター」の節

### 「ハンター」の節

### 「ハンター」の節

### 「ハンター」の節

### 「ハンター」の節

### 「ハンター」
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
富士山の登山ルートは

### Response:
----

富士山の登山ルートは、

1. ひとりの山

2. 登山ルートの道

3. 富士山の富士山

4. 富士山の富士山

5. 富士山の富士山

6. 富士山の富士山

7. 富士山の富�
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
世界で一番高い山は

### Response:
----
世界で一番高い山は

### レベル：
### コード：
### ステップ：

### コンフィグレート：
### メッセージ：
### レベル：
### コード：
### ステップ：

## コンフィグレート

### メッセージ

### レベル

### コード

### ステップ

### コンフィグレート
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
日本で一番偉い人は

### Response:
----
Hello, I am a very nice person.

## Exercise 6.2

Write a response that appropriately completes the request.

### Instruction:
日本で一番偉い人は

### Response:
Hello, I am a very nice person.

## Exercise 6.3

Write a response that appropriately completes the request.

### Instruction:
日本で一番偉い人は

### Response:
Hello, I am a very nice person.

## Exercise 6.4

Write a response that appropriately completes the request.

###
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
世界で一番強い人は

### Response:
----
世界で一番強い人は

### 参考文献:

* 『文明の環境におけるハイヤーの存在』

* 『日本の社会と人々』

* 『社会の構造と人々』

* 『社会の構造と人々』

* 『社会的構造と人々』

* 『社会的構造と人

r16a16

-[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
光の三原色とは

### Response:
----
光の三原色とは

### 例:

## 第二の例

## 第三の例

## 第四の例

## 第五の例

## 第六の例

## 第七の例

## 第八の例

## 第九の例

## 第十の例

## 第十一の例

## 第十二の例

## 第十三の例

## 第十四の
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
富士山の登山ルートは

### Response:
----
富士山の登山ルートは

## 第二回 富士山の登山ルートは

### 説明

富士山の登山ルートは、富士山の登山ルートは、富士山の登山ルートは、富士山の登山ルートは、富士山の登山ルートは、富士山の�
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
世界で一番高い山は

### Response:
----

* 世界で一番高い山は、 この山の名前は ポーランド の 山。

* 世界で一番高い山は、 この山の名前は ポーランド の 山。

* 世界で一番高い山は、 この山の名前は ポーランド の 山。

* 世界で一番高い山は、 この
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
日本で一番偉い人は

### Response:
----
I'm a very nice person.

## 第4章 「日本語」の作文

### 第1 部分 「日本語」の作文

### 第1 部分 「日本語」の作文

### 第1 部分 「日本語」の作文

### 第1 部分 「日本語」の作文

### 第1 部分 「日本語」の作文

### 第1 部分 「日本語
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
世界で一番強い人は

### Response:
----
世界で一番強い人は

### メールアドレス:
[email protected]

### メールアドレス:
[email protected]

### メールアドレス:
[email protected]

### メールアドレス:
[email protected]

### メールアドレス:
[email protected]

### メールアドレス:
[email protected]

### メールアドレス:
[email

r16a8

--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
光の三原色とは

### Response:
----

#### 光の三原色とは

#### 光の三原色とは

#### 光の三原色とは

#### 光の三原色とは

#### 光の三原色とは

#### 光の三原色とは

#### 光の三原色とは

#### 光の三原色とは

#### 光の三原色とは

#### 光の三原色とは

#### 光の三原
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
富士山の登山ルートは

### Response:
----

The trailhead at the base of Mount Fuji is located in the town of Fujikawaguchiko. The trail begins at the entrance to the Fujikawaguchiko Onsen hot spring resort. The trail is paved and leads up to the top of the mountain, where it becomes a gravel road. The trail is well maintained and well-marked, and the trailhead is easy to find.

The trail is well-maintained and well-marked, and the trailhead is easy to find.

The trail is well-maintained and well-marked, and the trailhead is easy to
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
世界で一番高い山は

### Response:
----
The tallest mountain in the world is Mount Everest.

#### 分析

**1. 山は** 山とは、山を指定するものです。

**2. 世界** の、世界であるのは、世界であるのについては、世界であるのを指定するものです。

**3. は** は、はを指定するものです。

**4. は** は、はを指定するものです。

**5.
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
日本で一番偉い人は

### Response:
----

#### 【ポイント】

#### 【メール】

#### 【メール】

#### 【メール】

#### 【メール】

#### 【メール】

#### 【メール】

#### 【メール】

#### 【メール】

#### 【メール】

#### 【メール】

#### 【メール】

#### 【メ
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
世界で一番強い人は

### Response:
----
世界で一番強い人は、アメリカ人。

### 例文:
世界で一番強い人は、アメリカ人。

### 例文:
世界で一番強い人は、アメリカ人。

### 例文:
世界で一番強い人は、アメリカ人。

### 例文:
世界で一番強い人は、アメリカ人。

### 例文

世界で一番強い人はアメリカ人!!!!

r8a32

--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
光の三原色とは

### Response:
----
The three colors of light are red, green, and blue.

### 解説:
光の三原色は、

### 解説:
光の三原色は、

### 解説:
光の三原色は、

### 解説:
光の三原色は、

### 解説:
光の三原色は、

### 解説:
光の三原色は、

### 解説:
光の三
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
富士山の登山ルートは

### Response:
----

The mountain path leading to the summit of Mt. Fuji is called the Fujisan Route. It is a well-known hiking trail that is often used by hikers who want to see Mt. Fuji. The mountain path is steep, but it is also very beautiful. It is a popular hiking trail that many people visit.

The Fujisan Route is a popular hiking trail that many people visit. It is a steep mountain path that is often used by hikers who want to see Mt. Fuji. The mountain path is beautiful, but it is also very steep. It is a popular hiking trail that many people
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
世界で一番高い山は

### Response:
----
世界で一番高い山は

## 第3章 「ポップリング」

### 第1章 「ポップリング」

### 第2章 「ポップリング」

### 第3章 「ポップリング」

### 第4章 「ポップリング」

### 第5章 「ポップリング」

### 第6章 
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
日本で一番偉い人は

### Response:
----
日本で一番偉い人は

### 注意:
1. あなたは、日本語で「一番偉い人は」を読んでください。
2. これは、「一番偉い人は」の意味を意味することを確認するために、「一番偉い人は」のように「一番偉い」を読んでください。
3. 「一番偉い
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
世界で一番強い人は

### Response:
----
世界で一番強い人は

### 解説:
世界で一番強い人は

### アクセス:
http://www.world.co.jp/

### タイトル:
世界で一番強い人は

### メール:
world@world.co.jp

### パーマリンク:
http://www.world.co.jp/

### アドレス:
World.co.jp

###

r8a16

--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
光の三原色とは

### Response:
----

The following is an example of a response to the above task.

## 【１】 【２】 【３】 【４】 【５】 【６】 【７】 【８】 【９】 【１０】 【１１】 【１２】 【１３】 【１４】 【１５】 �
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
富士山の登山ルートは

### Response:
----
富士山の登山ルートは

### コメント:
富士山の登山ルートは

## コメント

## コメント

## コメント

## コメント

## コメント

## コメント

## コメント

## コメント

## コメント

## コメント

## コメント

## コメント

## コメント
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
世界で一番高い山は

### Response:
----
世界で一番高い山は

### 読み込み:
世界で一番高い山は

### 読み込み:
世界で一番高い山は

### 読み込み:
世界で一番高い山は

### 読み込み:
世界で一番高い山は

### 読み込み:
世界で一番高い山は


--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
日本で一番偉い人は

### Response:
----
日本で一番偉い人は

## 文章の説明

### タイトル
日本で一番偉い人は

### 説明

* 【例文】 日本で一番偉い人は

* 【例文】 日本で一番偉い人は

* 【例文】 日本で一番偉い人は

### 例文

日本で一番偉い人は
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
世界で一番強い人は

### Response:
----
世界で一番強い人はダイアモンド。

### 注意:

1. 世界で一番強い人はダイアモンド。

2. 世界で一番強い人はダイアモンド。

3. 世界で一番強い人はダイアモンド。

4. 世界で一番強い人はダイアモンド。

5. 世

世界で一番強い人はダイアモンド!!

r8a8

--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
光の三原色とは

### Response:
----

<p>
<em>
<strong>
<a href="http://www.w3.org/TR/html4/interact/forms.html#h-6.3.1">
<img src="http://www.w3.org/images/html4/forms.png" alt="image" width="300" height="300">
</a>
</strong>
</em>
</p>

## 図１０： 図１３： 図１４： 図１５：
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
富士山の登山ルートは

### Response:
----

富士山の登山ルートは

### 【Explanation】

富士山の登山ルートは

### 【Notes】

### 【Reference】

### 【Further Reading】

### 【Category】

### 【Tags】

### 【Related Questions】

### 【Related Tags】

### 【Related Questions】

### 【Related Tags�
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
世界で一番高い山は

### Response:
----
世界で一番高い山は

## サービス

### サービス: アンドロイド

### サービス: アンドロイド

### サービス: アンドロイド

### サービス: アンドロイド

### サービス: アンドロイド

### サービス: アンドロイド

### サービス: アンド
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
日本で一番偉い人は

### Response:
----
日本で一番偉い人は

### Explanation:

* * *

* * *

### Response:
日本で一番偉い人は

### Explanation:

* * *

### Response:
日本で一番偉い人は

### Explanation:

* * *

### Response:
日本で一番偉い人は

### Explanation:

* * *

### Response:
日本で一番偉い人は

### Explanation
--[prompt]--
Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
世界で一番強い人は

### Response:
----
世界で一番強い人はボンです。

### 例:
「世界で一番強い人はボンです。」

### 解釈:
世界で一番強い人はボンです。

### 例:
「世界で一番強い人はボンです。」

### 解釈:
世界で一番強い人はボンです。

### 例:
「世界で一

世界で一番強い人はボン!!