マガジンのカバー画像

ローカルLLM

28
ローカルLLM関連は主にブログで更新しています。 https://sc-bakushu.hatenablog.com/
運営しているクリエイター

#LLM

【ローカルLLM】llama.cppの「投機的サンプリング」を試す

llama.cppに「Speculative Sampling(投機的サンプリング)」という実験的な機能がマージされ…

Baku
9か月前
10

【ローカルLLM】text-generation-webUIのAPI機能を試す

ローカルLLMをAPI的に使う場合は、llama.cpp(GGUF/GGML)が手軽そう。ただ、大きなモデルでは…

Baku
9か月前
26

【ローカルLLM】GPTQ-for-LLaMAによるモデルの量子化を試す

Llama系モデルのGPTQ量子化&推論に使用できるパッケージには、AutoGPTQの他に、GPTQ-for-LLaM…

Baku
9か月前
10

【ローカルLLM】Hugging FaceによるGPTQ量子化ガイド

ローカルLLMの量子化フォーマットとしては、llama.cpp(GGUF/GGML)とGPTQの2種類が広く使われて…

Baku
10か月前
23

【ローカルLLM】Gradioとllama-cpp-pythonで日本語チャットボットを作る

先日の記事に続き、ウェブUI用のPythonライブラリ「gradio」を使って、簡単なチャットボットを…

Baku
10か月前
28

【ローカルLLM】日本語強めの多言語モデル「OpenBuddy-Llama2」を試す

「OpenBuddy-Llama2-13B」というモデルを試したところ、わりと日本語が良かった。英文和訳など…

Baku
10か月前
19

【ローカルLLM】Colabの標準GPUで「CodeLlama-34B-GGUF」を動かす

Metaがコーディング用の言語モデル「Code Llama」をリリースした。 7月に公開済みのLlama-2をベースに、コーディングに特化した追加学習を行ったモデルだという。 コーディングには疎い人間だが、Llama-2では未公開だった34Bパラメータのモデルがラインナップされていたので、つい試したくなった。 例によってTheBloke氏の量子化モデルを使わせていただく。 結果的に、量子化した34BモデルがColabの標準GPU(T4、15GB VRAM)で動かせるか

【ローカルLLM】Gradio+CTranslate2で日本語LLMのチャットUIをつくる

夏になって立て続けに日本語LLMが公開されたので、遅ればせながらいくつか試している。 生成A…

Baku
10か月前
17

日本語LLMのベンチマーク:「JGLUE」と「Rakuda Benchmark」

LINEの「japanese-large-lm-instruction-sft」リリースに関する公式ブログで「Rakuda Benchmar…

Baku
10か月前
11

【ローカルLLM】QLoRAで「Vicuna-v1.5」の日本語翻訳性能を向上させる

Llama-2(13B)の日本語ファインチューンで試行錯誤している。 fine_tuning521k-jaなどの日本語…

Baku
10か月前
12

【ローカルLLM】ネガティブ・プロンプトがtext-generation-webUIに実装される

「Classifier-Free Guidance (CFG)」が、Transformers&Exllamaに実装され、text-generation-we…

Baku
10か月前
17

【ローカルLLM】QLoRAの複雑なパラメータを(少しでも)整理する

前回の記事でも触れたとおり、QLoRAによるLlama-2のファインチューニングで試行錯誤している。…

Baku
11か月前
29

【llama2.c】15Mに満たない言語モデルで小さな物語を紡ぐ

OpenAIのAndrej Karpathy氏による「llama2.c」が話題になっていた。 CPU環境で「Llama 2 アー…

Baku
11か月前
13

【ローカルLLM】言語モデルに人格を与える

プロンプトを使って、言語モデルに特定のキャラクターとして喋らせる遊び方はよく見かける。「Character.AI」のようにこれに特化したサービスもある。 しかし、「架空のキャラを演じさせる」のではなく「実在のAIとしての人格を付与」してみたいと思った。そのようなファインチューンは自分でもできるだろうか。 ChatGPTの自己理解 例えばChatGPTの場合、きちんと自身がChatGPTであることを把握している。自分がいつ作られたか、どのようなプロセスで訓練したかなど、自