マガジンのカバー画像

ローカルLLM

28
本
ローカルLLM関連は主にブログで更新しています。 https://sc-bakushu.hatenablog.com/
運営しているクリエイター
Baku

【ローカルLLM】QLoRAの複雑なパラメータを（少しでも）整理する

前回の記事でも触れたとおり、QLoRAによるLlama-2のファインチューニングで試行錯誤している。…

Baku
Baku
11か月前
29

【llama2.c】15Mに満たない言語モデルで小さな物語を紡ぐ

OpenAIのAndrej Karpathy氏による「llama2.c」が話題になっていた。 CPU環境で「Llama 2 アー…

Baku
Baku
11か月前
13

【ローカルLLM】言語モデルに人格を与える

プロンプトを使って、言語モデルに特定のキャラクターとして喋らせる遊び方はよく見かける。「…

Baku
Baku
11か月前
14

【Llama-2】FreeWilly2は何がすごいのか？／LLMのベンチマークの整理

MetaによるLlama-2の公開を受け、ファインチューニングしたモデルが多数リリースされている。…

Baku
Baku
11か月前
4

【ローカルLLM】Llama 2のコンテキスト長を15Kトークン超に拡大する

せっかくなのでLlama 2を触ってみようと思っていたところ、以下のスレッドに「Exllamaで16Kの…

Baku
Baku
11か月前
29

【ローカルLLM】Llamaモデルのコンテキスト拡張について整理する

「LLongMA 2」という長いコンテキストに対応したLlama-2派生モデルが話題になっていたので、Go…

Baku
Baku
11か月前
9

【ローカルLLM】Runpodで65Bモデルを動かす

LLamaベースのローカルLLMは、パラメータ数に応じて7B/13B/30B(33B)/65Bの4つのクラスがある。 65B（650億パラメータ）モデルを動かす場合、4ビット量子化しても40GBほどのGPUが必要。最近、AI動画生成を試す目的でクラウドGPUに課金したので、ついでに65Bのモデルも動かしてみた。 使ったのはRunpodというクラウドサービス。StableDiffusionユーザーで使っている人が時々いてるらしく、利用手順は例えばこちらの記事に詳しい。 G

Baku