フォローしませんか？
シェア
ローカルLLMをAPI的に使う場合は、llama.cpp（GGUF/GGML）が手軽そう。ただ、大きなモデルでは…
せっかくなのでLlama 2を触ってみようと思っていたところ、以下のスレッドに「Exllamaで16Kの…
「LLongMA 2」という長いコンテキストに対応したLlama-2派生モデルが話題になっていたので、Go…
数日前、RedditのローカルLLMスレに以下の投稿が上がっていた。Llamaベースの大規模言語モデル…
