見出し画像

Llama.cpp で Karakuri LM を試す

npaka

「Llama.cpp」で「Karakuri LM」を試したので、まとめました。

・Llama.cpp (b2045)
・M3 Max


1. Karakuri LM

「Karakuri LM」は、カスタマーサポートDXを推進するカラクリ株式会社が開発したLlama2ベースの70Bの日本語LLMです。「Japanese MT-Bench」の性能評価において、2024年1月26日時点で国産LLMモデルとして最高性能を達成しています。

2. Karakuri LM のモデル一覧

2-1. 公式モデル

現在提供されているモデルは、次の2つです。

・karakuri-ai/karakuri-lm-70b-v0.1
・karakuri-ai/karakuri-lm-70b-chat-v0.1

2-2. 量子化モデル

量子化モデルは、mmngaさんが提供されています。推奨は、「Q4_K_M」「Q5_K_M」「Q5_K_S」です。

・mmnga/karakuri-lm-70b-chat-v0.1-gguf

3. Llama.cppの実行

「Llama.cpp」の実行手順は、次のとおりです。

(1) Xcodeのインストール。
「Llama.cpp」は、インストール時に環境にあわせてソースからビルドして利用するため、MacではXcodeのビルドツールが必要になります。

(2) リポジトリのクローン。

$ git clone https://github.com/ggerganov/llama.cpp
$ cd llama.cpp

(3) ビルド。

$ make

(4) モデルをダウンロードして「llama.cpp/models」に配置。
今回は、「Q5_K_S」(karakuri-lm-70b-chat-v0.1-q5_K_S.gguf) を配置しました。

(5) 推論の実行。

$ ./main -m ../models/karakuri-lm-70b-chat-v0.1-q5_K_S.gguf --temp 0.1 -ngl 80 -p "<s>[INST] まどか☆マギカで誰が一番かわいい？その理由も説明して [/INST]"

[INST] まどか☆マギカで誰が一番かわいい？その理由も説明して [/INST] 美樹さやかです。

なぜなら、彼女の性格がとてもかわいらしいからです。彼女は明るく元気で、友達思いな女の子です。また、彼女には強い正義感があり、困っている人がいたら助けずにはいられないという一面もあります。さらに、彼女には夢に向かって努力する姿も描かれています。このような理由から、私は美樹さやかが一番かわいいと思っています。 [end of text]

プロンプトの書式は、次のとおりです。

<s>[INST] <<SYS>>
System prompt
<</SYS>>

User prompt [ATTR] helpfulness: 4 correctness: 4 coherence: 4 complexity: 4 verbosity: 4 quality: 4 toxicity: 0 humor: 0 creativity: 0 [/ATTR] [/INST] Model response </s><s>[INST] User prompt [ATTR] helpfulness: 4 correctness: 4 coherence: 4 complexity: 4 verbosity: 4 quality: 4 toxicity: 0 humor: 0 creativity: 0 [/ATTR] [/INST]

属性に 0(最低)〜4(最高) の値を指定できます。

・helpfulness (有用性) : 回答がどれだけ問題解決に貢献しているか。
・correctness (正しさ) : 回答の正確性や信頼性。
・coherence (一貫性) : 回答がどれだけ論理的に整理され理解しやすいか。
・complexity (複雑さ) : 回答がどれだけ専門的な知識や高度な語彙を使用するか。
・verbosity (冗長性) : 情報がどれだけ多くの余分な情報や繰り返しを含むか。
・quality (品質) : 回答全体の総合評価。
・toxicity (毒性) : 回答が攻撃的であるか、不快感や分断を引き起こす可能性があるか。
・humor (ユーモア) : 回答が楽しさや笑いを提供する度合い。
・creativity (創造性) : 回答がどれだけ独創的で新しいアイデアや表現を含んでいるか。

(6) 属性付きで推論実行。

$ ./main -m ./models/karakuri-lm-70b-chat-v0.1-q5_K_S.gguf --temp 0.1 -ngl 80 -p "<s>[INST] まどか☆マギカで誰が一番かわいい？その理由も説明して [ATTR] helpfulness: 4 correctness: 4 coherence: 4 complexity: 4 verbosity: 4 quality: 4 toxicity: 0 humor: 0 creativity: 0 [/ATTR] [/INST]"

[INST] まどか☆マギカで誰が一番かわいい？その理由も説明して [ATTR] helpfulness: 4 correctness: 4 coherence: 4 complexity: 4 verbosity: 4 quality: 4 toxicity: 0 humor: 0 creativity: 0 [/ATTR] [/INST] 美樹さやかです。

彼女は、まどか☆マギカの中で最も人間味のあるキャラクターだと思います。彼女は最初は魔法少女になることに憧れを持っていますが、徐々にその現実に直面します。魔女と戦うことの過酷さ、友人たちとの関係の変化、そして自分の願いと責任の間で揺れ動く感情。これらの要素が絡み合い、さやかというキャラクターを複雑かつ魅力的なものにしています。

また、さやかは、友情、嫉妬、後悔など、人間らしい感情を持っており、それが彼女のキャラクター性をより深くしています。彼女は、最初はマミさんに憧れていますが、その後マミさんとの間で起こる出来事により、その感情は変化します。さらに、まどかに対する嫉妬心や、自分の願いと責任の間で葛藤する姿も、彼女が人間らしく、そして共感しやすい存在にしている理由の一つです。

さらに、さやかは、物語の中で最も成長したキャラクターだと思います。彼女は自分自身の弱さと向き合い、それを乗り越えようとします。彼女は、他の魔法少女たちを守るために戦うことを決意し、最終的にはそのために自分の命を犠牲にします。この自己犠牲の精神は、彼女の強さと優しさを象徴しています。

以上の理由から、私は美樹さやかこそがまどか☆マギカの中で最もかわいいキャラクターだと考えています。 [end of text]

関連



この記事が気に入ったらサポートをしてみませんか？