Youri 7B のモデルの Google Colab 実行コード

サンプルコードを実行したノートブックを置いておきます。量子化していない 7B のモデルは V100（VRAM 16GB）ではメモリ不足で動かないので注意。A100 ガチャ引きましょう。Youri 7B の全体像的なまとめはこちら↓

https://t.co/LExNczlxm8

Youri 7B

rinna 社の日本語 LLM。Llama 2 7B に日本語の学習データを用いて継続事前学習（日英 400 億トークン）。汎用モデルと対話形式で使えるモデル（指示モデル・対話モデル）を公開。Stability-AI/lm-evaluation-harness の 8 タスク平均スコアは 58.87。それぞれに… https://t.co/YY57VP3EQU pic.twitter.com/zoAunji2fj

— ぬこぬこ (@schroneko) October 31, 2023

各モデル Gist から Open in Colab を押せばそのままノートブックを開いて実行できます。

rinna/youri-7b

rinna/youri-7b · Hugging Face

rinna/youri-7b-instruction

rinna/youri-7b-instruction · Hugging Face

rinna/youri-7b-chat

rinna/youri-7b-chat · Hugging Face

rinna/youri-7b-gptq

rinna/youri-7b-gptq · Hugging Face

rinna/youri-7b-instruction-gptq

rinna/youri-7b-instruction-gptq · Hugging Face

rinna/youri-7b-chat-gptq

rinna/youri-7b-chat-gptq · Hugging Face