Google Colab で Japanese Stable LM Beta 7B を試す

「Google Colab」で「Japanese Stable LM Beta 7B」を試したので、まとめました。

1. Japanese Stable LM Beta

「Japanese Stable LM Beta」は、「Stability AI」が開発した「Llama 2」ベースの日本語LLMです。最大サイズの「JSLM Beta 70B」は、700億パラメータの商用利用可能な日本語言語モデルになります。

日本語大規模言語モデル「Japanese Stable LM Beta」シリーズをリリースしました — Stability AI Japan

2. Japanese Stable LM Beta のモデル

「Japanese Stable LM Beta」は、現在6つのモデルが提供されています。

・stabilityai/japanese-stablelm-base-beta-7b : ベースモデル
・stabilityai/japanese-stablelm-base-beta-70b : ベースモデル
・stabilityai/japanese-stablelm-instruct-beta-7b : 指示モデル
・stabilityai/japanese-stablelm-instruct-beta-70b : 指示モデル
・stabilityai/japanese-stablelm-base-ja_vocab-beta-7b : 語彙拡張済みベースモデル
・stabilityai/japanese-stablelm-instruct-ja_vocab-beta-7b : 語彙拡張済み指示モデル

3. Colabでの実行

Colabでの実行手順は、次のとおりです。

(1) Colabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」を選択。

(2) パッケージのインストール。

# パッケージのインストール
!pip install transformers accelerate bitsandbytes sentencepiece protobuf

(2) トークナイザーとモデルの準備。
今回は、語彙拡張済み指示モデル「stabilityai/japanese-stablelm-instruct-ja_vocab-beta-7b 」を使います。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# トークナイザーとモデルの準備
tokenizer = AutoTokenizer.from_pretrained(
    "stabilityai/japanese-stablelm-instruct-ja_vocab-beta-7b"
)
model = AutoModelForCausalLM.from_pretrained(
    "stabilityai/japanese-stablelm-instruct-ja_vocab-beta-7b", 
    torch_dtype=torch.float16, 
    low_cpu_mem_usage=True, 
    device_map="auto"
)

(4) 推論の実行。

# プロンプトの準備
prompt = """<s>[INST] <<SYS>>
あなたは役立つアシスタントです。
<<SYS>>

まどか☆マギカで一番かわいいのは？ [/INST]　　"""

# 推論の実行
token_ids = tokenizer.encode(
    prompt,
    add_special_tokens=False,
    return_tensors="pt"
)
output_ids = model.generate(
    token_ids.to(device=model.device),
    max_new_tokens=128,
    temperature=0.99,
    top_p=0.95,
    do_sample=True,
)
output = tokenizer.decode(
    output_ids[0][token_ids.size(1) :], 
    skip_special_tokens=True
)
print(output)

「まどかマギカ」は、各キャラの性格と背景がすべて異なることから、見どころがたくさんあります。

しかし、各キャラクターに1票を投じるとなると、迷いがなくなるのは「佐倉杏子」です。
なぜなら、彼女が演じる杏子は、とてもまっすぐで前向きな女の子だからです。
彼女の魅力は、人生の迷いの中で一筋の光を見出すことができることです。

彼女は一歩ずつ自分のペースで前に進んでいきます。
そして、その姿勢は、自分を見失わずに前進しようとする人々に希望

次回

OpenAI GPT-4/ChatGPT/LangChain 人工知能プログラミング実践入門