Vecteusで遊ぶメモ

このメモを読むと

・話題のローカルLLMを試せる

検証環境

・Windows11
・VRAM24GB
・ローカル（Anaconda）
・python3.10
・2024/5/B時点

事前準備

Anacondaを使うメモ｜おれっち (note.com)
Gitを使うメモ｜おれっち (note.com)

Vecteus

LOCAL AI HACKATHON#001にて金賞を受賞した、7bのLLM。
ご家庭マシンで、高品質な日本語を生成してくれるモデルです。

Local-Novel-LLM-project/Vecteus-v1 · Hugging Face

サポートアイテムの導入

環境構築に先んじて、ninjaを導入します。
flash-attnのセットアップにとんでもなく時間がかかるので、それを短縮するためです。

1. 下記からninja-win.zipをダウンロードし展開
　https://github.com/ninja-build/ninja/releases

2. 展開したものを好きな場所に移動させ、パスを通す
　私は　C:\Program Files\ninja-win　に移動しパスとして通しました。

3. 動作確認
　バージョンが帰ってきたらOK。

ninja --version

環境構築

とても簡単です！

1. 仮想環境を作成し、環境切替

conda create -n vecteustest python=3.10
activate vecteustest

2. 追加パッケージのインストール

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install transformers accelerate sentencepiece protobuf
pip install flash-attn --no-build-isolation

完了です！

実行

下記スクリプトを実行

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "Local-Novel-LLM-project/Vecteus-v1"
new_tokens = 1024

model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True, torch_dtype=torch.float16, attn_implementation="flash_attention_2", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_id)

system_prompt = "あなたは料理家です。\nアドバイスをください\n-------- "

prompt = input("Enter a prompt: ")
system_prompt += prompt + "\n-------- "
model_inputs = tokenizer([prompt], return_tensors="pt").to("cuda")


generated_ids = model.generate(**model_inputs, max_new_tokens=new_tokens, do_sample=True)
print(tokenizer.batch_decode(generated_ids)[0])

Enter a prompt: カレーにジャガイモは入れるべき？

<s> カレーにジャガイモは入れるべき？　みんなが注目する話題ですが、これは実際にどうなのでしょうか。
今回は、ジャガイモ入りカレーとなしのカレー、どちらが優れているのか、栄養学的、科学的に検証してみたいと思います。
ジャガイモの栄養成分
ジャガイモはイモ類ですので、炭水化物が主成分です。デンプンが豊富で、糖質の中では消化されやすく、エネルギーになりやすい特徴があります。また、ビタミンCが豊富で、加熱に強いことも特徴的です。他にも、食物繊維も含まれています。
カレー用のジャガイモは、デンプンを多く含んでいるため、カレーのコクを出す効果があると言われています。
カレーでジャガイモを入れるべきか？
栄養学的に見ると、ジャガイモはエネルギー源として役立ちますが、栄養素の面ではそれほど特別なものは含まれていません。意外かもしれませんが、ジャガイモ自体はタンパク質やビタミン、ミネラルが乏しい野菜です。
しかし、カレーにおいては別です。カレーにはタマネギ、ニンジン、トマト、ショウガ、ニンニクといった栄養価の高い野菜が多く使われています。これらの野菜にはビタミンCやミネラルが豊富に含まれており、ジャガイモがなくても栄養面での不足は心配いらない でしょう。
さらに、カレーには肉類が加わることが多く、タンパク質源として充分です。
科学的に見ると？
科学的に見ると、実はジャガイモがなくてもカレーの粘度やコクは出せるのです。これは、野菜や果物に含まれる複合糖類（果糖やブドウ糖、デンプンが結合したもの）が、加熱することでアミノ酸やタンパク質と反応し、糖化反応を起こすことでうま味成分のメラノイジンが生成されるからです。ジャガイモに含まれるデンプンには、でんぷん粘度を上げる働きがありますが、必須ではありません。
また、カレールーの商品にはジャガイモが含まれているものもありますが、最近ではジャガイモを含まないタイプもあります。これも、ジャガイモがなくてもカレーをおいしくすることができるということの証明でしょう。
カレーを美味しくするポイントは？
カレーを美味しくするには、どんな具材でもいいのです。大事なのは、煮込むことによって具材から出たうま味をソースに移すことです。豚肉、鶏肉、牛肉、野菜、果物、スパイスなど、様々

出力

長文が出た！

おわり

小説に特化したモデルだからか、トークン上限まで文章が出力されます。
内容も筋が通っており大きな破綻もなく、”楽しませる文”としては十分すぎる性能ではないでしょうか。

おしょうしな

Local-Novel-LLM-project (LocalNovelLLM-project)