日本語音声で喋ってくれるローカルLLM:ez-chat-llm

Twitter(X)のポストで流れたきた下記の動画に触発されて、インストールしてみました。かわいいです。WSL2のUbuntuで動いてくれました。

ローカル環境でAIと会話できるソフトウェア、ez-chat-llmを作成し、GitHubで公開しました (続く) pic.twitter.com/zKrfazfmhQ

— offtoung (@offtoung) December 26, 2023

作者さんの解説ページはこちら。

ローカル環境で音声・立ち絵付きのAIと会話できるソフトウェア ez-chat-llm を作りました。

Githubにアップロードされていて、日本語でインストール方法が書かれています。

githubuのページはこちら。

さくさくとインストール方法にしたがって、無事にWindows10にconda環境を作って、インストールできました。

しかしながら、昨晩の時点では、GPUがみつからないと言われるエラーがでたので、WSL2のubuntuでインストールしましたら、無事に動きました。

素人なので、ダメ元でMacbookProにもトライしましたが、指定されてるpythonのversionではconda環境は作れませんでした。version変えて作ってもそれはやっぱり動きません（汗

でも、WSL2のubuntuでは、とっても簡単に動いてくれました♪

あとは、以下の事項が大事なことでしょう。

「(※1) 会話AIの動作画面等のスクリーンショット・キャプチャ動画の投稿、および会話AIから生成された会話を元ネタとする作品を公開する場合は、「本ソフトウェアの名称 (ez-chat-llm) とつくよみちゃんの名前をクレジットすること」が必須です。また、会話AIから生成された会話を素材として配布、会話AIから生成された会話を使用して新たな会話AIを作成、あるいは会話AIの改変・再配布を行う場合、つくよみちゃん会話AI育成計画の利用規約に従う必要があります。」

それと、main.pyを動かすと、デフォのllmは自動でダウンロードしてくれます。モデルをUIで別のに指定すると、その時点で別なモデルがダウンロードされます。

かわいいのでぜひ試してみてください。

---

Window 10での再トライ編ー　やっぱり私には無理でしたー

今みたら、githubがアップデートされていました。

その指示にしたがって、windows 10 で動くかを以下の手順で実行。

conda remove -n ezllm --all

いったん作ったconda 環境を削除。
ローカルに変更をどう反映するか自分にはわからないので、作っておいたez-cchat-llmのdirectoryを削除して、再度 git cloneしてみました。
bigに聞いた削除方法は　rmdir /s /q ez-chat-llm　でした。

あらたにconda環境を再構築。ez-chat-llmのdirecotry内で以下を実行。

conda env create -f environment.yml 

conda activate ezllm でcondaを立ち上げてから

pip install transformers bitsandbytes accelerate pyopenjtalk gradio scipy

[notice] A new release of pip is available: 23.2.1 -> 23.3.2
[notice] To update, run: python.exe -m pip install --upgrade pip

上のことを言われたので、そのとおりに実行。
やっぱりエラーがでるので、もう一度 Bingと相談したら、まずは以下を実行しろと言われて実行

python.exe -m pip install setuptools

やっぱりエラーとなるので、terminalを管理者権限で実行しろと言われたので、管理者権限で開いて、conda環境を立ち上げて、実行したら通りました。再度、下記をトライ。

pip install transformers bitsandbytes accelerate pyopenjtalk gradio scipy

またエラー。condaのpythonを確認したら、3.12.1になっていて、environment.ymlにしていしてある 3.8.5になってませんでした。

conda環境を削除して、再度つくりなおしたところ、ちゃんと表示をみたら、こんな感じでした。

D:\ezllm\ez-chat-llm>conda env create -f environment.yml
Channels:
- defaults
- conda-forge
Platform: win-64
Collecting package metadata (repodata.json): done
Solving environment: failed

PackagesNotFoundError: The following packages are not available from current channels:

- _openmp_mutex==5.1=1_gnu
- ca-certificates==2023.12.12=h06a4308_0
- ld_impl_linux-64==2.38=h1181459_1
- libffi==3.3=he6710b0_2
- libgcc-ng==11.2.0=h1234567_1
- libgomp==11.2.0=h1234567_1
- libstdcxx-ng==11.2.0=h1234567_1
- ncurses==6.4=h6a678d5_0
- openssl==1.1.1w=h7f8727e_0
- pip==23.3.1=py38h06a4308_0
- python==3.8.5=h7579374_1
- readline==8.2=h5eee18b_0
- setuptools==68.2.2=py38h06a4308_0
- sqlite==3.41.2=h5eee18b_0
- tk==8.6.12=h1ccaba5_0
- wheel==0.41.2=py38h06a4308_0
- xz==5.4.5=h5eee18b_0
- zlib==1.2.13=h5eee18b_0

Current channels:

- https://repo.anaconda.com/pkgs/main/win-64
- https://repo.anaconda.com/pkgs/r/win-64
- https://repo.anaconda.com/pkgs/msys2/win-64
- https://conda.anaconda.org/conda-forge/win-64

To search for alternate channels that may provide the conda package you're
looking for, navigate to

https://anaconda.org

and use the search bar at the top of the page.

なんか上手くいかないようで、ここで私は挫折しました（汗

conda activate ezllmで立ち上がってるようですが、conda infoo -e では、ezllmのcondaは見つかりません。不思議です。

---

#AI #AIとやってみた #やってみた #ローカルLLM #大規模自然言語モデル