マガジンのカバー画像

ローカルLLM

28
本
ローカルLLM関連は主にブログで更新しています。 https://sc-bakushu.hatenablog.com/
運営しているクリエイター
Baku

【ローカルLLM】SuperHOT 8Kで6000トークン超のコンテキストを試す

数日前、RedditのローカルLLMスレに以下の投稿が上がっていた。Llamaベースの大規模言語モデル…

Baku
Baku
1年前
6

【ローカルLLM】llama.cppの量子化バリエーションを整理する

「llama.cpp」はMacBookなどでLlamaベースの大規模言語モデルを動かすことを目標とするアプリ…

Baku
Baku
1年前
57

【ローカルLLM】ExLlamaでtext-generation-webuiによるテキスト生成を高速化する

数日前、RedditのローカルLLMスレに以下の投稿が上がっていた。Llamaベースの大規模言語モデル…

Baku
Baku
1年前
15