マガジンのカバー画像

ローカルLLM

28
本
ローカルLLM関連は主にブログで更新しています。 https://sc-bakushu.hatenablog.com/
運営しているクリエイター
Baku

【ローカルLLM】ELYZA-Llama-2を機械翻訳APIとして使ってみる

LLMの物語生成のテスト（趣味）に使うため「TinyStories」というデータセットを日本語訳したい…

Baku
Baku
9か月前
16

【ローカルLLM】llama.cppの「投機的サンプリング」を試す

llama.cppに「Speculative Sampling（投機的サンプリング）」という実験的な機能がマージされ…

Baku
Baku
9か月前
10

【ローカルLLM】text-generation-webUIのAPI機能を試す

ローカルLLMをAPI的に使う場合は、llama.cpp（GGUF/GGML）が手軽そう。ただ、大きなモデルでは…

Baku
Baku
10か月前
26