人気の記事一覧
Command R+ GPTQをローカルLLMとしてvllmでOpenAI API互換サーバ動作させてみた話
日本語対応の大規模言語モデル（LLM）をローカル環境で試す：VRAM 8GBの挑戦
【ローカルLLM】text-generation-webUIのAPI機能を試す
【ローカルLLM】Hugging FaceによるGPTQ量子化ガイド
【ローカルLLM】ELYZA-Llama-2を機械翻訳APIとして使ってみる
Transformers でサポートされている量子化 bitsandbytes と auto-gptq の比較
【ローカルLLM】GPTQ-for-LLaMAによるモデルの量子化を試す
【ローカルLLM】ExLlamaでtext-generation-webuiによるテキスト生成を高速化する
Google Colab で AutoGPTQ + Vicuna-v1.5 を試す
