再チャレンジ：text generation web uiをMacbookProにインストール

戻ってきたMacbookProにインストールの再チャレンジです。
以前の試行錯誤は下記。

上の試行錯誤を踏まえて、今回はスムーズにインストールできました。

まずは、下記の記事に書いたようにconda環境が作れるようにしておきます。

私自身の好みで、conda環境のインストール先を、ホームフォルダーの直下のAIという名前のdirectoryに作っていくように設定しています。

さて、またtext generation web uiのインストール方法を確認し、マニュアルインストールをしていきました。

以下のコマンドを実行することで、（私の場合）AI directoryの下に、textgenというフォルダーにconda環境がセットアップされます。

conda create -n textgen python=3.11

そして、textgenというconda環境を立ち上げ。

conda activate textgen

Mac用のPytorchというパッケージをインストール。

pip3 install torch torchvision torchaudio

textgenというフォルダーの下に、必要なファイルをダウンロドするために、cd コマンドで、移動、　cd ~/AI/textgen （私の場合）。
そして、git cloneというコマンドで、textgenのしたに、text-generation-webuiというdirectoryを作成して、必要なファイルをそこにダウンロード。

conda環境のdirectoryと分けるべきだとGPT-4に教わりましたので、conda環境のdirectoryの下につくらないほうがいいようです。

git clone https://github.com/oobabooga/text-generation-webui

そして、そのdirectoryへ移動。

cd text-generation-webui

apple silicon用のrequirementを実行。

pip install -r requirements_apple_silicon.txt

それから、conda環境の状態で、text-generation-webuiのdirectory内で、下記を実行することで、text generation webuiが動きました。

python server.py

コンソール画面に表示されているlocalのurlをブラウザにコピペすると、ブラウザに、UIが表示されて使えるようになりました。

メモ
たまに以下の作業して、requirements_apple_silicon.txtアップデートしてくださいということらしいです。

conda activate textgen
cd text-generation-webui
pip install -r requirements_apple_silicon.txt --upgrade

このメモの実行はまだ試していません。

さて、最初に試したモデルは下記です。

berkeley-nest/Starling-LM-7B-alpha · Hugging Face

量子化されてないオリジナルモデル。
loaderはtransformerで、何もチェックをいれなかったら、無事にロードされました。
オリジナルモデルは、インストラクションテンプレートも同時にloadされるみたいです。
指示に従って、chat画面で、chat-instructionのボタンにチェックをいれて対話をしたら、ちゃんと対話できました。

このモデルは、日本語でも破綻なくやり取りできるのですごいと思っています。

量子化されていないモデルなのか、なにかtransformerでチェックをいれたらいいのかわかりませんが、生成速度はかなりもっさりでした。

以上、再度、MacbookProにtext generation webuiをインストールできました。覚え書き記事でした。

---

#AI #AIでやってみた #ローカルLLM #大規模自然言語モデル