マガジンのカバー画像

ローカルLLM

28
ローカルLLM関連は主にブログで更新しています。 https://sc-bakushu.hatenablog.com/
運営しているクリエイター

#量子化

【ローカルLLM】Mixtral-8x7bをllama.cppで試す

2023/12/12:llama.cppで「Mixtral-8x7b」のGGUF量子化モデルを試しました(現時点でまだmerge…

Baku
6か月前
18

【ローカルLLM】Llama 2のコンテキスト長を15Kトークン超に拡大する

せっかくなのでLlama 2を触ってみようと思っていたところ、以下のスレッドに「Exllamaで16Kの…

Baku
11か月前
29

【ローカルLLM】Llamaモデルのコンテキスト拡張について整理する

「LLongMA 2」という長いコンテキストに対応したLlama-2派生モデルが話題になっていたので、Go…

Baku
11か月前
9

【ローカルLLM】llama.cppの量子化バリエーションを整理する

「llama.cpp」はMacBookなどでLlamaベースの大規模言語モデルを動かすことを目標とするアプリ…

Baku
1年前
54