マガジンのカバー画像

ローカルLLM

28

本

ローカルLLM関連は主にブログで更新しています。 https://sc-bakushu.hatenablog.com/

運営しているクリエイター: Baku

#GPTQ

【ローカルLLM】ELYZA-Llama-2を機械翻訳APIとして使ってみる

LLMの物語生成のテスト（趣味）に使うため「TinyStories」というデータセットを日本語訳したい…

9か月前

16

【ローカルLLM】text-generation-webUIのAPI機能を試す

ローカルLLMをAPI的に使う場合は、llama.cpp（GGUF/GGML）が手軽そう。ただ、大きなモデルでは…

9か月前

26

【ローカルLLM】GPTQ-for-LLaMAによるモデルの量子化を試す

Llama系モデルのGPTQ量子化＆推論に使用できるパッケージには、AutoGPTQの他に、GPTQ-for-LLaM…

9か月前

10

【ローカルLLM】Hugging FaceによるGPTQ量子化ガイド

ローカルLLMの量子化フォーマットとしては、llama.cpp(GGUF/GGML)とGPTQの2種類が広く使われて…

10か月前

23

【ローカルLLM】ExLlamaでtext-generation-webuiによるテキスト生成を高速化する

数日前、RedditのローカルLLMスレに以下の投稿が上がっていた。Llamaベースの大規模言語モデル…

1年前

15