13Bクラスでは一番性能がいいらしい（？）、CausalLM/14Bを試す

松xRのnote

CausalLM/14Bという、Qwen 14Bのウェイトをベースにした、Llama2互換アーキテクチャーなLLMが出ていました。20B以下クラス最強とも噂されるQwen 14B並の性能と、Llama2の扱いやすさを兼ね備えたもののようです。

普通にLlama 2と同じように動かせるみたいなので、さっと動かしてみました。load_in_4bit=True すれば、短文プロンプトならVRAM消費12GBくらいだったので、ご家庭用GPUでも動きそうです。

ChatLMのテンプレートなので、system, User, Assistantの発話はそれぞれ<|im_stat|> <|im_end|>で囲みます。

とりあえず動かしたソースはこんな感じです。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline, BitsAndBytesConfig

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_use_double_quant=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16
)

model = AutoModelForCausalLM.from_pretrained(
    "CausalLM/14B", quantization_config=bnb_config, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(
    "CausalLM/14B", use_fast=False)
generator = pipeline("text-generation", model=model, tokenizer=tokenizer)

input_text = """任天堂はなぜ世界的に成功出来たのでしょうか？"""
text = generator(
    f"<|im_start|>system\n以下の質問に日本語で答えてください\n<|im_end|>\n<|im_start|>\nUser\n{input_text}\n<|im_end|>\n<|im_start|>Assistant\n",
    max_length=512,
    do_sample=True,
    temperature=0.7,
    top_p=0.9,
    top_k=0,
    repetition_penalty=1.1,
    num_beams=1,
    num_return_sequences=1,
)
print(text[0]['generated_text'].split("<|im_end|>")[2].strip())

出力は、以下の様な感じでした。公式には英語と中国語が対応言語ですが、日本語も意外といけるようです。

<|im_start|>Assistant
任天堂は、日本のゲーム会社であり、世界中に多くのゲーム機器やゲームソフトを販売しています。そのため、世界中の多くの地域で成功を収めています。

任天堂が世界中に成功した理由として、以下の点が挙げられます。

- **ゲームソフトの質が高い**

任天堂は、自社開発のゲームソフトだけでなく、独立系のゲーム制作会社との共同開発も積極的に行っています。これにより、多様なジャンルのゲームソフトを提供することができます。また、任天堂は、ゲームのデザイン力にも優れており、魅力的なキャラクターやグラフィック、音楽などを編み出してきました。

- **ゲーム機器の性能が高い**

任天堂は、ゲーム機器の開発にも力を入れており、高性能なゲーム機器を次々と投入してきました。特に、携帯型ゲーム機器「Game Boy」シリーズは、世界中で大ヒットし、任天堂のブランドイメージ向上に大きく貢献しました。

- **マーケティング力が高い**

任天堂は、ゲーム機器やゲームソフトの宣伝にも力を入れており、世界中のメディアを活用して、ゲームの知名度を高めてきました。また、任天堂は、プロモーションイベントやコラボレーションなども積極的に行っており、消費者との関係を深めてきました。

これらの理由から、任天堂は世界中に成功することができました。ただし、近年では、海外の競合他社との競争が激しくなり、任天堂の市場シェアは減少傾向にあります。今後は、新たなゲーム機器やゲームソフトを開発し、消費者のニーズを満たすことが重要です。

具体的には、以下のエピソードが挙げられます。

- **Nintendo Switchの世界的成功**

2017年3月に発売されたNintendo Switchは、全世界で大ヒットしました。スマートフォンやPCなどのコンピュータゲーム機とは異なる、新しいゲーム体験を提供することで、世界中の消費者を魅了しました。
- **Super Mario RunのiPhone向けリリース**

2016年にiPhone向けにリリースされた「Super Mario Run」は、全世界で大ヒットしました。このゲームにより、任天堂は世界中の消費者にGAME BOYのスーパーマリオを再び体感してもらい

ライセンスはwtfplとあったのですが、調べてみたら、Do What The Fuck You Want To Public License、日本で言う「煮るなり焼くなり好きにしろライセンス」と同様みたいです。つまりは、商業利用だろうと好きにしたまえ、ということかと。

作者さんはGuanacoデータセットなどを作られた方です。GuanacoのページにもこのCausalLMが「New Work」との記述があります。

ちなみに7Bサイズもありました。

アルファ版という位置づけながら、DPOでチューニングされたバージョンも。

ファインチューニングなども試してみたいと思います。

この記事が気に入ったらサポートをしてみませんか？