LINEのjapanese-large-lm(ジャパニーズ ラージ エルエム)を試しました。
# パッケージのインストール
!pip install transformers accelerate bitsandbytes
!pip install sentencepiece
パッケージをインストールして、推論する文章を入れます。
本日も会社で八つ当たりされて悲しかったので、晩御飯は焼肉屋に行って一人で英気を養おうと思ったのです。
しかしながらお金が無いので、近くのスーパーで肉を買って帰りました。
そんな実話の続きを、書いてもらいました。
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
# トークナイザーとモデルの準備
tokenizer = AutoTokenizer.from_pretrained(
"line-corporation/japanese-large-lm-3.6b",
use_fast=False
)
model = AutoModelForCausalLM.from_pretrained(
"line-corporation/japanese-large-lm-3.6b",
load_in_8bit=True,
torch_dtype=torch.float16,
device_map="auto",
)
# プロンプトの準備
prompt = "今日は外食で焼肉屋に行くのをあきらめて、"
# 推論の実行
input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
tokens = model.generate(
input_ids.to(device=model.device),
max_length=3000,
temperature=1.0,
do_sample=True,
pad_token_id=tokenizer.pad_token_id,
)
output = tokenizer.decode(tokens[0])
print(output)
以下、出力結果です。
だそうです。
結局焼肉屋さんに行ったんですね(笑)
しかも焼肉屋さんなのに、メニューに焼肉定食が無い。
更に、肉盛り合わせを注文したくても、肉を1枚ずつしか注文出来ない仕様です。
せめてご飯が、おかわり自由で良かったです。
VIVA!わかめスープ。
では。
今回のコードはnpakaさんのコードを丸パクリさせて頂きました。
勉強になりました。ありがとうございました。
メールやTwitterでもお仕事依頼を受け付けています。 どなたでもお気軽にお問い合わせください。