マガジンのカバー画像

ローカルLLM

28
ローカルLLM関連は主にブログで更新しています。 https://sc-bakushu.hatenablog.com/
運営しているクリエイター

#ローカルLLM

【ローカルLLM】言語モデルの知識編集を試す(Knowledge Editing)

言語モデルの研究領域の一つに「知識編集(Knowledge Editing)」というものがあるらしい。 近…

Baku
6か月前
29

【llama.cpp】CPUとRAM、どっちが重要?

llama.cppのCPUオンリーの推論について CPUでもテキスト生成自体は意外にスムーズ。なのに、…

Baku
6か月前
7

【llama.cpp】Qwen-14BをGGUF量子化して日本語で試す

2023/12/05:llama.cppが「Qwen」に対応したので試しました。 「Qwen」は中国Alibabaグループ…

Baku
6か月前
7

【ローカルLLM】Mixtral-8x7bをllama.cppで試す

2023/12/12:llama.cppで「Mixtral-8x7b」のGGUF量子化モデルを試しました(現時点でまだmerge…

Baku
6か月前
18