Google Colab で Orion-14B を試す
「Google Colab」で「Orion-14B」を試したので、まとめました。
1. Orion-14B
「Orion-14B」は、「OrionStarAI」が開発したオープンソースの多言語大規模言語モデルです。ベースモデルは、中国語、英語、日本語、韓国語などを含む2.5T多言語コーパスで学習しており、これらの言語で優れたパフォーマンスを発揮します。
2. Orion-14B のモデル
「Orion-14B」は、7つのモデルが提供されています。
3. Colabでの実行
Colabでの実行手順は、次のとおりです。
(1) Colabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」を選択。
(2) パッケージのインストール。
# パッケージのインストール
!pip install -U transformers accelerate bitsandbytes
!pip install -U sentencepiece flash_attn autoawq
(2) トークナイザーとモデルの準備。
今回は、「OrionStarAI/Orion-14B-Chat-Int4」を使いました。
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation.utils import GenerationConfig
# トークナイザーとモデルの準備
tokenizer = AutoTokenizer.from_pretrained(
"OrionStarAI/Orion-14B-Chat-Int4",
use_fast=False,
trust_remote_code=True
)
model = AutoModelForCausalLM.from_pretrained(
"OrionStarAI/Orion-14B-Chat-Int4",
device_map="auto",
torch_dtype=torch.bfloat16,
trust_remote_code=True
)
model.generation_config = GenerationConfig.from_pretrained(
"OrionStarAI/Orion-14B-Chat-Int4"
)
(3) 推論の実行。
# メッセージリストの準備
messages = [
{"role": "user", "content": "まどか☆マギカでは誰が一番かわいい?"}
]
# 推論の実行
response = model.chat(tokenizer, messages, streaming=False)
print(response)
関連
この記事が気に入ったらサポートをしてみませんか?