量子化なしでOrion14B-LongChatの性能を試してみた
AIはとにかく中国勢の勢いがすごい。凄すぎる。
今度は新生、OrionStarという会社が発表したOrion14Bが中国語だけでなく日本語や韓国語に関してもバッチリであるという話。
ただ、商用利用は「可能」だが、別途ライセンス契約を結ぶ必要がある。
価格などについては不明だが、Webサイトを見る限り「無料で商用利用可能」らしい。よくわからない。
ただ、ライセンスによると、派生製品を作ることはこのライセンスに従えば可能で商用利用もできるとのこと。
https://raw.githubusercontent.com/OrionStarAI/Orion/master/ModelsCommunityLicenseAgreement
ただ、この「商業ライセンス登録」というのが今のところ日本からやる方法がよくわからない。中国国内の携帯電話番号でしかアプライできないようになっており、それ以外の方法がよくわからない。eSIMとかでもいいのだろうか。
1/25追記 日本からも登録できるようになった!
ただ、性能は確かにすごい。特にOrion14B-LongChatは最大320Kのコンテキスト長というからChatGPTの二倍以上のスペックになる。
npaka大先生の記事を少しアレンジしただけで、すごい性能だということがわかる。
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation.utils import GenerationConfig
# トークナイザーとモデルの準備
tokenizer = AutoTokenizer.from_pretrained(
"OrionStarAI/Orion-14B-LongChat",
use_fast=False,
trust_remote_code=True
)
model = AutoModelForCausalLM.from_pretrained(
"OrionStarAI/Orion-14B-LongChat",
device_map="auto",
torch_dtype=torch.bfloat16,
trust_remote_code=True
)
model.generation_config = GenerationConfig.from_pretrained(
"OrionStarAI/Orion-14B-Chat-Int4"
)# メッセージリストの準備
messages = [
{"role": "user", "content": "まどか☆マギカの登場人物をJSON形式で出せ。名前、設定、性格など"}
]
model.generation_config.max_new_tokens = 10000
# 推論の実行
response = model.chat(tokenizer, messages, streaming=False)
print(response){
"name": "美樹さやか",
"setting": "魔法少女",
"personality": "明るく元気な性格で、魔法少女としての使命に誇りを持っています。",
"age": "15歳",
"gender": "女性",
"height": "163cm",
"weight": "50kg",
"bloodType": "A型",
"hairColor": "茶色",
"eyeColor": "青色",
"magicStone": "風の魔法石",
"weapon": "魔法玉",
"ability": "風の魔法を操ることができます",
"personalityTrait": "勇敢で、魔法少女としての使命に誇りを持っています",
"relationship": "親友は鹿目由紀と佐倉杏子です",
"background": "魔法少女として戦いながら、魔法少女同士の争いに巻き込まれます",
"fate": "最終的に死んでしまいます"
}
{
"name": "鹿目由紀",
"setting": "魔法少女",
"personality": "優しく賢い性格で、魔法少女としての使命に誇りを持っています",
"age": "14歳",
"gender": "女性",
"height": "155cm",
"weight": "45kg",
"bloodType": "B型",
"hairColor": "茶色",
"eyeColor": "緑色",
"magicStone": "水の魔法石",
"weapon": "魔法玉",
"ability": "水の魔法を操ることができます",
"personalityTrait": "優しく賢い性格で、魔法少女としての使命に誇りを持っています",
"relationship": "親友は美樹さやかと佐倉杏子です",
"background": "魔法少女として戦いながら、魔法少女同士の争いに巻き込まれます",
"fate": "最終的に死んでしまいます"
}
{
"name": "佐倉杏子",
"setting": "魔法少女",
"personality": "冷静で理知的な性格で、魔法少女としての使命に誇りを持っています",
"age": "16歳",
"gender": "女性",
"height": "165cm",
"weight": "55kg",
"bloodType": "O型",
"hairColor": "茶色",
"eyeColor": "紫色",
"magicStone": "火の魔法石",
"weapon": "魔法玉",
"ability": "火の魔法を操ることができます",
"personalityTrait": "冷静で理知的な性格で、魔法少女としての使命に誇りを持っています",
"relationship": "親友は美樹さやかと鹿目由紀です",
"background": "魔法少女として戦いながら、魔法少女同士の争いに巻き込まれます",
"fate": "最終的に死んでしまいます"
}
{
"name": "巴マミ",
"setting": "魔法少女",
"personality": "優しい性格で、魔法少女としての使命に誇りを持っています",
"age": "16歳",
"gender": "女性",
"height": "160cm",
"weight": "50kg",
"bloodType": "AB型",
"hairColor": "茶色",
"eyeColor": "茶色",
"magicStone": "雷の魔法石",
"weapon": "魔法玉",
"ability": "雷の魔法を操ることができます",
"personalityTrait": "優しい性格で、魔法少女としての使命に誇りを持っています",
"relationship": "親友は美樹さやかと鹿目由紀です",
"background": "魔法少女として戦いながら、魔法少女同士の争いに巻き込まれます",
"fate": "最終的に死んでしまいます"
}
{
"name": "沙英",
"setting": "魔法少女",
"personality": "元気で熱血な性格で、魔法少女としての使命に誇りを持っています",
"age": "17歳",
"gender": "女性",
"height": "168cm",
"weight": "60kg",
"bloodType": "A型",
"hairColor": "茶色",
"eyeColor": "青色",
"magicStone": "光の魔法石",
"weapon": "魔法玉",
"ability": "光の魔法を操ることができます",
"personalityTrait": "元気で熱血な性格で、魔法少女としての使命に誇りを持っています",
"relationship": "親友は美樹さやかと鹿目由紀です",
"background": "魔法少女として戦いながら、魔法少女同士の争いに巻き込まれます",
"fate": "最終的に死んでしまいます"
}
{
"name": "百江なぎさ",
"setting": "魔法少女",
"personality": "無邪気で無垢な性格で、魔法少女としての使命に誇りを持っています",
"age": "14歳",
"gender": "女性",
"height": "150cm",
"weight": "40kg",
"bloodType": "A型",
"hairColor": "茶色",
"eyeColor": "青色",
"magicStone": "闇の魔法石",
"weapon": "魔法玉",
"ability": "闇の魔法を操ることができます",
"personalityTrait": "無邪気で無垢な性格で、魔法少女としての使命に誇りを持っています",
"relationship": "親友は美樹さやかと鹿目由紀です",
"background": "魔法少女として戦いながら、魔法少女同士の争いに巻き込まれます",
"fate": "最終的に死んでしまいます"
}
{
"name": "藤村かえで",
"setting": "魔法少女",
"personality": "無邪気で無垢な性格で、魔法少女としての使命に誇りを持っています",
"age": "13歳",
"gender": "女性",
"height": "145cm",
"weight": "35kg",
"bloodType": "A型",
"hairColor": "茶色",
"eyeColor": "青色",
"magicStone": "風の魔法石",
"weapon": "魔法玉",
"ability": "風の魔法を操ることができます",
"personalityTrait": "無邪気で無垢な性格で、魔法少女としての使命に誇りを持っています",
"relationship": "親友は美樹さやかと鹿目由紀です",
"background": "魔法少女として戦いながら、魔法少女同士の争いに巻き込まれます",
"fate": "最終的に死んでしまいます"
}
{
"name": "佐倉杏子",
"setting": "魔法少女",
"personality": "冷静で理知的な性格で、魔法少女としての使命に誇りを持っています",
"age": "16歳",
"gender": "女性",
"height": "165cm",
"weight": "55kg",
"bloodType": "O型",
"hairColor": "茶色",
"eyeColor": "紫色",
"magicStone": "火の魔法石",
"weapon": "魔法玉",
"ability": "火の魔法を操ることができます",
"personalityTrait": "冷静で理知的な性格で、魔法少女としての使命に誇りを持っています",
"relationship": "親友は美樹さやかと鹿目由紀です",
"background": "魔法少女として戦いながら、魔法少女同士の争いに巻き込まれます",
"fate": "最終的に死んでしまいます"
}