PaperspaceでText-generation-webuiを使う方法

shiba*2

2024年2月28日 16:08

＜追記　2024/3＞

拡張機能のインストールをするのが前の方法だとうまくいかず、Pythonのバージョンなどの問題ということで修正することになりました。
拡張機能を使用しない場合は必要ないと思われます。

本家サイトのマニュアルでのインストール方法の部分を参考にした内容になります。以前のものだとPythonが3.9になってしまい、一部ライブラリが合わないという問題が発生するようです。

プロジェクト作成前にすること

以下の「Advanced option」を押す

Containerの「Name」に以下の文言をコピペします。

paperspace/gradient-base:pt211-tf215-cudatk120-py311-20240202

Jupyternotebookを立ち上げてから行うこと

①インストールコマンド：基本拡張機能の環境も入れ込む

%cd /tmp
!conda create -n textgen python=3.11 -y
!pip install pickleshare  
!pip install torch==2.1.* torchvision==0.16.* torchaudio==2.1.* --index-url https://download.pytorch.org/whl/cu121
!git clone https://github.com/oobabooga/text-generation-webui
%cd text-generation-webui
!pip install -r requirements.txt
!pip install -r extensions/coqui_tts/requirements.txt
!pip install -r extensions/google_translate/requirements.txt
!pip install -r extensions/ngrok/requirements.txt
!pip install -r extensions/openai/requirements.txt
!pip install -r extensions/silero_tts/requirements.txt
!pip install -r extensions/superbooga/requirements.txt
!pip install -r extensions/superboogav2/requirements.txt
!pip install -r extensions/whisper_stt/requirements.txt

②WebUI立ち上げコマンド

%cd /tmp/text-generation-webui
!python server.py --listen --share

これで、いくつかエラーが出るのですが、webui自体は問題なく立ち上がりました。

拡張機能は「session」のところで、チェックを入れて、上の「Apply・・・」を押して立ち上げなおすと出てくる感じです。
エラー項目が出てきますが、Webuiは立ち上げなおすことができます。

以上です。
モデルの選択などは以前の記事などを参照してください。

＜この下に以前の記事の内容を残しておきます＞

このサイトに方法が詳細に記載されていました。GPTさんに「よりよいものと」と修正してもらいましたが変わらずエラーが出ているので、元のままのものを採用しています。

①一時ファイルにインストールする（結構時間がかかる）

# /tmpディレクトリで作業する
%cd /tmp

# 1. text-generation-webuiのダウンロード
repository_url = "https://github.com/oobabooga/text-generation-webui.git"
git_branch = "main"

!git clone {repository_url}
%cd text-generation-webui
!git checkout {git_branch}
!pip install -r requirements.txt

参考にしたサイトの方が公開してくださっているコマンドだと、最後の方に以下のエラーが出ますが、問題なく起動しました。

②WebUI起動

%cd /tmp/text-generation-webui

!python server.py --listen --share

モデルのダウンロードについては、WebUIを立ち上げてから行うことにしました。

＜追記：拡張機能について＞
以下のコマンドで拡張機能の環境を追加で入れる必要があるようです。

%cd /tmp
!pip install -r extensions/coqui_tts/requirements.txt
!pip install -r extensions/elevenlabs_tts/requirements.txt
!pip install -r extensions/google_translate/requirements.txt
!pip install -r extensions/ngrok/requirements.txt
!pip install -r extensions/openai/requirements.txt
!pip install -r extensions/silero_tts/requirements.txt
!pip install -r extensions/superbooga/requirements.txt
!pip install -r extensions/superboogav2/requirements.txt
!pip install -r extensions/whisper_stt/requirements.txt

モデルの選択について

前回記事を参考にしてもらえればと思います。
モデルの選択に関しては小さめのものを選ぶとよいと思います。
注意点としては、text generation webuiに対応していない形式のモデルや大きすぎるモデルを使用することです。後者はVRAM消費も凄そうなので15GB程度の課金だと対応出来ない可能性があります。
15GB程度のものであれば動くことを確認しています。

これらすべて一時ファイルで行われているので、Paperspaceのストレージはわずかに増加しているだけです。

見切れていますがIDEファイルというのが少しずつ増えていきますので、気になる程度に増加していく場合は、プロジェクトごと削除するのが楽かと思います。

このモデルは対応していなかったようです。mamba2というモデルがベースのもので、まだ対応していないものでした。

前回記事で紹介し忘れていましたが、「検閲無しモデル」に関してはHuggingfaceで「uncensored」で検索してモデル一覧を出して探すと方法もあります。
下のだとトレンドのもの順にソートされているようです。

ちなみに、「日本語」で選ぶとモデルはありませんでした。

今回は比較的上位にあったものを選択してみました。
これは14GBぐらいありますので、ダウンロードにそこそこ時間がかかりました。
※参考にしていたサイトの方はコマンドで直接ファイルを送り込んでいたのですが、おそらくその方が早いのかもしれません。

ローカル環境だと、一度モデルをダウンロードしていれば起動は楽ですが、Paperspaceのように容量が足りない場合は手間がかかるのが問題ですね。

キャラクター設定について

前回記事で、「GPTsっぽいな」という感想を持ちました。
ただ、少し試してみた感じだと、GPTほど賢くないからか設定の調整がなかなか難しいですね。
Stable diffusionを触り始めた時のうまく画像生成が出来ない感じを再体験しているみたいでちょっと新鮮です。