ログイン
会員登録
GPTQ
書いてみる
関連タグ
#LLM (5,523)
#Llama (309)
#AI (310,028)
#量子化 (91)
#TextGenerationWebUI (24)
#大規模言語モデル (2,397)
人気
急上昇
新着
定番
有料のみ
13件
人気の記事一覧
Command R+ GPTQをローカルLLMとしてvllmでOpenAI API互換サーバ動作させてみた話
Junzo Kamahara
5か月前
26
キャリブレーションデータにもっと気を配ろうの話
Sakusakumura
9か月前
26
日本語対応の大規模言語モデル(LLM)をローカル環境で試す:VRAM 8GBの挑戦
¥300
neko
5か月前
2
FastChatでGPTQの使い方
しろ
7か月前
4
【ローカルLLM】Hugging FaceによるGPTQ量子化ガイド
Baku
1年前
26
【ローカルLLM】text-generation-webUIのAPI機能を試す
Baku
1年前
27
【ローカルLLM】ELYZA-Llama-2を機械翻訳APIとして使ってみる
Baku
1年前
16
Transformers でサポートされている量子化 bitsandbytes と auto-gptq の比較
npaka
1年前
24
【ローカルLLM】GPTQ-for-LLaMAによるモデルの量子化を試す
Baku
1年前
10
【ローカルLLM】ExLlamaでtext-generation-webuiによるテキスト生成を高速化する
Baku
1年前
15
GPTQ なるものをシュッと
bbz
1年前
6
Google Colab で AutoGPTQ + Vicuna-v1.5 を試す
npaka
1年前
8
SpQR なるものをシュッと
bbz
1年前