Google Colab で Swallow MS 7B を試す

「Google Colab」で「Swallow MS 7B」を試したので、まとめました。

1. Swallow MS 7B

「Swallow MS 7B」は、「Mistral 7B」の日本語能力を強化した大規模言語モデルです。Apache 2.0の寛容なライセンスでモデルのパラメータ（重み）を公開しています。

Swallow on mistral – TokyoTech-LLM

Swallow-MS: Mistral日本語継続事前学習モデル

2. Swallow MS 7B のモデル

「Swallow MS 7B」のモデルは、次の1つです。

・tokyotech-llm/Swallow-MS-7b-v0.1

量子化モデルも提供されています。

・mmnga/tokyotech-llm-Swallow-MS-7b-v0.1-gguf

3. Colabでの実行

Colabでの実行手順は、次のとおりです。

(1) パッケージのインストール。

# パッケージのインストール
!pip install transformers sentencepiece accelerate protobuf

(2) トークナイザーとモデルの準備。

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# トークナイザーとモデルの準備
tokenizer = AutoTokenizer.from_pretrained(
    "tokyotech-llm/Swallow-MS-7b-v0.1"
)
model = AutoModelForCausalLM.from_pretrained(
    "tokyotech-llm/Swallow-MS-7b-v0.1",
    torch_dtype=torch.float16,
    device_map="auto",
)

(3) 推論の実行。
ベースモデルのため、文章に続く文章を生成します。

# プロンプトの準備
prompt = "魔法少女まどか☆マギカとは、"

# 推論の実行
input_ids = tokenizer.encode(
    prompt,
    add_special_tokens=False,
    return_tensors="pt"
)
tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    temperature=0.99,
    top_p=0.95,
    do_sample=True,
)
out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

魔法少女まどか☆マギカとは、2011年にアニメ制作会社シャフトによって制作、放送されたオリジナルアニメである。魔法少女ものでありながら、ダークファンタジーやSFの要素も含んだ重厚なストーリーや、美しい作画や個性的なキャラクターが人気を呼ぶ。また、ストーリーや世界観が高い評価を受けているが、作中では様々な謎が示され、未解決のまま終わっているため、ファンの間で様々な考察が行われている。 2012年にはテレビアニメの続編である『劇場版 魔法

OpenAI GPT-4V／ChatGPT／GPTs 人工知能プログラミング実践入門 | 株式会社ボーンデジタル