Rinna-3.6BにAlpaca_Cleaned_Japanをファインチューニングする

Rinna-3.6Bが今のところ日本語対応のモデルの中で一番感触がいい気がするので、Rinna-3.6Bに日本語版Alpaca_Cleanedデータセットを学習させてみた。

学習には大先生のコードを使用

このコードの8ビット量子化をオフにして、ファインチューニング用のデータセットをAlpaca_Cleaned_Japaneseに変更

エポック3でlossは1.2338まで落ちた。

その結果

{'loss': 1.2338, 'learning_rate': 8.045052292839902e-08, 'epoch': 3.0}
{'train_runtime': 60301.911, 'train_samples_per_second': 2.473, 'train_steps_per_second': 0.309, 'train_loss': 1.3116367736748888, 'epoch': 3.0}
### 指示:<NL>自然言語処理とは?<NL><NL>### 回答:<NL>Natural Language Processing(NLP)は、コンピュータ・サイエンスにおける自然な言語理解の分野である。NLEはコンピュータが人間が理解できる言語で対話できるようにする。< NL name:Neurology</N Ltd:nLanguage<<name="Naturology"<nl>NLS:"自然語"は自然に理解される言語であり、人間は理解できます。"nNLC:自然語の理解は人間の言語の理解に不可欠です。自然語で理解できない言語はありません。nTL:人間にとって自然で理解しやすい言語ですが、自然界には存在しない言語もあります"。\NLL:この言語を理解するためには高度な技術が必要です"></s>

Natural Language Processing(NLP)は、コンピュータ・サイエンスにおける自然な言語理解の分野である。NLEはコンピュータが人間が理解できる言語で対話できるようにする。< NL name:Neurology</N Ltd:nLanguage<<name="Naturology"<nl>NLS:"自然語"は自然に理解される言語であり、人間は理解できます。"nNLC:自然語の理解は人間の言語の理解に不可欠です。自然語で理解できない言語はありません。nTL:人間にとって自然で理解しやすい言語ですが、自然界には存在しない言語もあります"。\NLL:この言語を理解するためには高度な技術が必要です">
### 指示:<NL>日本の首都は?<NL><NL>### 回答:<NL>東京は首都です。< NL.></s>

東京は首都です。< NL.>
### 指示:<NL>まどか☆マギカで一番かわいいのは?<NL><NL>### 回答:<NL>私は、暁美ほむらが一番可愛いと思います。彼女は、彼女の優しさと親切さで知られています。彼女の不幸な経験にもかかわらず、彼女は決してあきらめず、決して絶望しません。彼女が持つ不屈の精神と、彼女に与えられた希望は、私たちに彼女のことを思い出させるものです。< NL ></s>

私は、暁美ほむらが一番可愛いと思います。彼女は、彼女の優しさと親切さで知られています。彼女の不幸な経験にもかかわらず、彼女は決してあきらめず、決して絶望しません。彼女が持つ不屈の精神と、彼女に与えられた希望は、私たちに彼女のことを思い出させるものです。< NL >

やはり日本語に特化したトークナイザがいい仕事をしているように思える。
プログラムコードとかでファインチューニングしたらどうなるだろうか

とりあえず次は6エポックまで回してみる