人気の記事一覧

bitnet.cpp を試す

OpenAI互換ローカルLLMサーバとGUIで最も簡単な評価環境を作成

LLM-jp-3 を llama.cpp を使って iPhone・Android で動かす

1か月前

gemma-2-9b-itにプログラムはかけるか?

Llama.cpp で Llama-3.1-70B-Japanese-Instruct-2407 を試す

3か月前

llama.cppの環境を構築して対話やモデルの変換を行う(Windows CPU/CUDA対応)

2週間前

Google ColabでLLM(llm-jp-3-instruct、HF形式)をGGUF形式に変換する

4週間前

iOS・Android の ローカルLLM実行環境まとめ

6か月前

llama.cpp の llama-cli コマンドのヘルプまとめ

1か月前

Llama.cpp で Command R+ を試す

6か月前

【GGUF変換】llama.cppでGGUF変換する方法【ローカルLLM】

¥1,000
2週間前

話題のArrowPro-7B-KUJIRA の量子化モデル使ってみました

5か月前

llama.cppの公式Swift Packageの使い方を調べたメモ - llama.swiftuiのコードリーディング

5か月前

llama-cpp-python 使ってみた

5か月前

【無料】ローカルPCで動く日本語LLM(ELYZA-japanese-Llama-2-7b-instruct)

7か月前

Llama.cppのOpenAI互換モードを使って、OpenAIから少ない手間でローカルLLMに乗り換える

9か月前

Llama.cpp で Karakuri LM を試す

9か月前

wandb を活用して LangChain を 日本語ローカルLLM 対応させる

9か月前

【ローカルLLM】Windows10でllama-cpp-pythonを動かす

6か月前

llama.cppでHuggingFaceモデルを4bit量子化😚【GoogleColab】/大塚

5か月前

GoogleColabでHuggingFaceのモデルをGGUFフォーマットに変換🔄/大塚

5か月前

Mixtral-8x22Bをllama.cppで実行する

[オタク機器日記] RTX8000で4bit量子化版Command R+ 104B版を試す

再生

LLMを爆速で処理させる

1か月前

【ローカルLLM】Windows10のllama.cppでGPUを使う

7か月前

WSL2でllama-cpp-pythonを試してみる

8か月前

【ローカルLLM】Windows10でllama.cppを動かす

7か月前

llama.cppのserver.exeに起動オプションを送って起動できるPythonコードを公開しました。

6か月前

【ローカルLLM】Mixtral-8x7bをllama.cppで試す

10か月前

WSL2とllama.cppでKARAKURI LMを試してみる

9か月前

macOSオンデバイスでLLMを動かすアプリの比較 -LM studio, Ollama, etc...

8か月前

【llama.cpp】CPUとRAM、どっちが重要?

10か月前

飛行機でOpenAIのLLMが使えなくなるのでローカルLLMをMacBook Pro(M2)で使えるようにしておく

16GBのVRAMで4bit量子化版のCommand R+ 104B版を動作させる

オープンソースなLLM(calm2-7b)のCPU推論エンドポイントをAzureとllama-cpp-pythonでシュッとつくる

11か月前

Llama-cpp-pythonでOpenAIのChatGPT互換APIサーバを立てる。

【llama.cpp】Qwen-14BをGGUF量子化して日本語で試す

10か月前

【ローカルLLM】llama.cppの量子化バリエーションを整理する

1年前

Llama.cpp の HTTPサーバー機能を試す

1年前

GGMLからGGUFへ:llama.cppのファイルフォーマット変更

1年前

Microsoft LLM Phi-2をローカルPCで処理させる

10か月前

【ローカルLLM】llama.cppの「投機的サンプリング」を試す

1年前

【ローカルLLM】Colabの標準GPUで「CodeLlama-34B-GGUF」を動かす

1年前

llama-cpp-pythonインストールするときのメモ

1年前

Google Colab で Llama.cpp + Vicuna-v1.5 を試す

1年前

llama.cppでHFモデルを変換して対話する環境を作る(Windows CPU版)

3週間前

LLM Mistral 7B系のMoEを作って遊ぶ

2か月前

LlamaCppのUIツール「LlamaChat」

4か月前

llama.cpp による transformersモデル の量子化

6か月前

Llama.cpp で Swallow MX 8x7B を試す

7か月前