llama-cpp-pythonインストールするときのメモ

OTE

ほぼ自分用で恐縮ですが、最近色々試すためにllama-cpp-pythonをインストールすることが増えてます。
ところが、いっつもメモがどこに行ったか探す羽目になってて面倒。
そこで記事にすることにしました。色々欠けている部分も有ると思いますが、ご容赦を。

llama-cpp-python installメモ

  • 2021/10/09現在でディレクトリを掘ってからllama-cpp-pythonインストールメモ

環境 2023/10/09

  • Windows11

  • Python 3.10.xx

  • CUDA 12.2

  • VSCode

  • PowerShell

事前準備

  • 適当なバージョンのpythonをインストールする

  • pyenvを入れておく

  • venvを入れておく

  • VSCodeのPython拡張を入れる

  • VBuild Tools for Visual Studio 2022を入れる

  • vs_BuildTools.exeでc++によるデスクトップ開発を入れる

  • CUDA ToolkitとcuDNN を入れて置く

  • プロジェクト用のディレクトリを作成

  • いつものルーチンを実行しておく

CUDA状態コマンド

  • nvidia-smi

  • nvcc -V
    2023/10/09現在、CUDA12.2が出れば良し
    プロジェクトによっては違う事もあるので注意

いつものルーチン

プロジェクト作ったら毎回やってること
condaは仕事で使うので入れてるけど、venvの方が好きなのでちょっと変な構成になってる

 conda deactivate
 pyenv local 3.xx.xx
 python -m venv .venv
 .venv\Scripts\activate
 pip install --upgrade pip
 python -m pip install --upgrade pip
 pip install --upgrade setuptools

llama-cpp-pythonのCUDA付きインストール

  • 環境変数はPowerShell用。最初の二行は環境変数なのでちゃんと貼る。

$env:CMAKE_ARGS="-DLLAMA_CUBLAS=on"
$env:FORCE_CMAKE=1
pip install llama-cpp-python --no-cache-dir
or
pip install llama-cpp-python --force-reinstall --upgrade --no-cache-dir -vv

GPU確認(Trueが出れば良い)

  • python -c "from llama_cpp import GGML_USE_CUBLAS; print(GGML_USE_CUBLAS)"

参考にしたサイト一覧

他にも色々有るけど省略（pyenv、venvとか）

いいなと思ったら応援しよう！