見出し画像

Llama.cpp で Swallow MX 8x7B を試す

npaka

「Llama.cpp」で「Swallow MX 8x7B」を試したので、まとめました。

・Llama.cpp
・M3 Max


1. Swallow MX 8x7B

「Swallow MX 8x7B」は、「Mixtral 8x7B」の日本語能力を強化した大規模言語モデルです。Apache 2.0の寛容なライセンスでモデルのパラメータ（重み）を公開しています。

2. Swallow MX 8x7B のモデル

「Swallow MX 8x7B」のモデルは、次の1つです。

・tokyotech-llm/Swallow-MX-8x7b-NVE-v0.1

量子化モデルも提供されています。

・mmnga/tokyotech-llm-Swallow-MX-8x7b-NVE-v0.1-gguf

3. Llama.cppでの実行

Llama.cppでの実行手順は、次のとおりです。

(1) Xcodeのインストール。
「Llama.cpp」は、インストール時に環境にあわせてソースからビルドして利用するため、MacではXcodeのビルドツールが必要になります。

(2) リポジトリのクローン。

$ git clone https://github.com/ggerganov/llama.cpp
$ cd llama.cpp

(3) ビルド。

$ make

(4) モデルをダウンロードして「llama.cpp/models」に配置。
今回は、「Q4_K_M」(tokyotech-llm-Swallow-MX-8x7b-NVE-v0.1-q4_K_M.gguf) を配置しました。

(5) プロンプトテキストの準備

・prompt.txt

User: まどか☆マギカで誰が一番かわいい？その理由も説明して
Assistant:

(6) 推論の実行。

$ ./main -m ./models/tokyotech-llm-Swallow-MX-8x7b-NVE-v0.1-q4_K_M.gguf --temp 0.1 -ngl 80 -f ./prompt.txt

User: まどか☆マギカで誰が一番かわいい？その理由も説明して
Assistant: 「魔法少女まどか☆マギカ」は、多くの魅力的なキャラクターたちによって構成されるアニメです。この作品を通じて誰が一番可愛いと思うかは個人差がありますが、以下にそれぞれのキャラクターの魅力や特徴を簡単にご紹介します。
1. 鹿目まどか: 主人公であり、物語の中心的な存在です。優しくて思いやりがあり、誰に対しても平等に接することができる彼女は多くのファンから愛されています。
2. 暁美ほむら: クールな外見と強気な性格を持つキャラクターで、物語の中盤以降に重要な役割を果たします。そのミステリアスな魅力から多くのファンがいることも特徴的です。
3. 美樹さやか: 明るくて活発な性格で、クラスメイトたちに人気があります。その元気なキャラクターは多くのファンを魅了しています。
4. 佐倉杏子: 自由奔放で、時には無茶な行動も取ることがありますが、その強さや芯の通った性格から多くのファンを獲得しています。
5. 巴マミ: 優雅で落ち着いた雰囲気を持つキャラクターで、その大人びた外見と行動が特徴的です。多くのファンから支持されています。
以上のように、「魔法少女まどか☆マギカ」は個性豊かなキャラクターたちが魅力的な作品であり、それぞれ異なるファン層を持っています。 [end of text]

・Metal buffer size : 27057.56 MiB (27GB)
・CPU buffer size : 70.31 MiB
・推論速度 : 31.75 トークン/秒



この記事が気に入ったらサポートをしてみませんか？