多言語対応Alpaca!? guanaco-7b-leh-v2を試す
Alpacaを作るためのデータセットを多言語対応させたGuanacoというデータセットがあります。そのGuanacoを使って、LLaMAをベースに作られたモデルが公開されました。琥珀青葉さんによる作成です。
Just published guanaco-leh-v2!
— 琥珀青葉@LyCORIS (@KBlueleaf) April 2, 2023
Larger Dataset
Larger ctx cut off length
BF16 training (not int8)https://t.co/dn0hbHCkv9
こちらを早速、動かしてみました。以下のColab notebookで試せるようにしています。
さっそく生成してみたのが以下です。青く選択された部分が、生成されたテキストです。
![](https://assets.st-note.com/img/1680446886440-SqvYxtZZgb.png?width=1200)
かなり良い感じだと思います!
Transformersでモデルを呼んでいるので、ローカルでも動かすことができます。RWKVに続いて、ローカル動作する日本語が通るLLMに新しい選択肢が増えてワクワクしています。
ちなみに、Guanacoデータセットの作成者であるJosephusCheungさんによる、さらなる強化版も作成されているようです。現在はまだモデルはアップロードされていないhuggingfaceページが作成されており、今後が楽しみです。
このJosephusさんのページでも「今のところはKBlueLeaf/guanaco-7B-lehを使ってね」と書かれています。
この記事が気に入ったらサポートをしてみませんか?