RedPajama-INCITE - オープンで商用可能なLLM
以下の記事が面白かったので、簡単にまとめました。
1. RedPajama-INCITE
「RedPajama-INCITE」は、「RedPajamaベースデータセット」で学習した最初のモデルです。LLaMAレシピを可能な限り複製することを目的とした3B・7Bパラメータのベースモデルです。
2. モデル一覧
ベースモデルに加えて、完全にオープンソースのInstructionモデルとチャットモデルも提供しています。
2-1. RedPajama-INCITE-Base-3B-v1
「RedPajama-INCITE-Base-3B-v1」は、3Bのベースモデルです。同規模の他のオープンモデルをベンチマークで上回っています。
・ライセンス : Apache-2.0 (商用利用可)
2-2. RedPajama-INCITE-Chat-3B-v1
「RedPajama-INCITE-Chat-3B-v1」は、3Bのチャットモデルです。「Dolly 2.0」と「Open Assistant」で「RedPajama-INCITE-Base-3B-v1」をファインチューニングしています。
・ライセンス : Apache-2.0 (商用利用可)
2-3. RedPajama-INCITE-Instruct-3B-v1
「RedPajama-INCITE-Instruct-3B-v1」は、3BのInstructionモデルです。「GPT-JT」と同じ計算式（ただしHELMベンチマークと重複するデータセットをすべて排除）で「RedPajama-INCITE-Base-3B-v1」をファインチューニングしています。
・ライセンス : Apache-2.0 (商用利用可)
2-4. RedPajama-INCITE-Base-7B-v0.1
「RedPajama-INCITE-Base-7B-v0.1」は、7Bのベースモデルの早期アクセス版です。学習途中で、1兆トークンのうち8000億トークンを完了したモデルになります。
・ライセンス : Apache-2.0 (商用利用可)
2-5. RedPajama-INCITE-Chat-7B-v0.1
「RedPajama-INCITE-Chat-7B-v0.1」は、7Bのチャットモデルの早期アクセス版です。
・ライセンス : Apache-2.0 (商用利用可)
2-6. RedPajama-INCITE-Instruct-7B-v0.1
「RedPajama-INCITE-Instruct-7B-v0.1」は、7BのInstructionモデルの早期アクセス版です。
・ライセンス : Apache-2.0 (商用利用可)
関連
この記事が気に入ったらサポートをしてみませんか？