vicuna-13b-4bitを試したメモ

text-generation-webuiのインストール

とりあえず簡単に使えそうなwebUIを使ってみました。
One-click installersで一式インストールして楽々です

vicuna-13b-4bitのダウンロード

download-model.batを実行して、https://huggingface.co/eachadea/ggml-vicuna-13b-4bitをダウンロード…しようとしたのですが、フォルダは出来るけどbinファイルはダウンロードできてませんでした。
なので別にダウンロードして作られたフォルダに放り込みました。

実行してみる

start-webui.batを実行して、モデルを選択して無事起動。

Loading eachadea_ggml-vicuna-13b-4bit...
llama.cpp weights detected: models\eachadea_ggml-vicuna-13b-4bit\ggml-vicuna-13b-4bit-rev1.bin

llama_model_load: loading model from 'models\eachadea_ggml-vicuna-13b-4bit\ggml-vicuna-13b-4bit-rev1.bin' - please wait ...
llama_model_load: n_vocab = 32001
llama_model_load: n_ctx   = 512
llama_model_load: n_embd  = 5120
llama_model_load: n_mult  = 256
llama_model_load: n_head  = 40
llama_model_load: n_layer = 40
llama_model_load: n_rot   = 128
llama_model_load: f16     = 2
llama_model_load: n_ff    = 13824
llama_model_load: n_parts = 2
llama_model_load: type    = 2
llama_model_load: ggml map size = 7759.84 MB
llama_model_load: ggml ctx size = 101.25 KB
llama_model_load: mem required  = 9807.93 MB (+ 3216.00 MB per state)
llama_model_load: loading tensors from 'models\eachadea_ggml-vicuna-13b-4bit\ggml-vicuna-13b-4bit-rev1.bin'
llama_model_load: model size =  7759.40 MB / num tensors = 363
llama_init_from_file: kv self size  =  800.00 MB
Loading the extension "gallery"... Ok.

無事読み込まれたみたいなので、会話を実行…

何故か途中で会話が切れてしまいました。
謎です。

vicuna-13Bを試してみる

https://huggingface.co/eachadea/vicuna-13bのモデルを追加して実行してみました。
うちのPCではメモリ不足であまり上手くいきませんでした。