記事一覧
Meta-Prompt Agentのメモ
langchain バージョン0.0のdocsを探しているのですが、今はlangchainの公式サイトで見ることができないようです。
Meta-Prompt Agentのコードを写経して、ローカルLLMで試していたものが残っていたので、ここに残します。
from langchain import LLMChain, PromptTemplatefrom langchain.memory impo
VScode + AI支援拡張 with ローカルLLM on WSL
この記事は2024-02-24に環境構築したメモです。
OpenAI互換API on WSL
今回はローカルLLMとしてopenchat-3.5-0106-GGUFを選択しました。
今はGemmaやKARAKURI LM 70B Chat v0.1が話題ですが、使ってみるまで性能がわからないので、Agent能力で実績のあるOpenChat-3.5にしました。
今回のLLMはGGUF形式なので
ローカルLLMでWeb scraping
ローカルLLMは情報の流れが速いので、気になるWebページを後で読もうとブックマークしていたのですが・・・
気が付くと数百件のブックマークになってしまいました。
有用と思った情報を抽出したのですから、ここから検索したいですね。
ローカルLLMでどこまでできるか試してみましょう。
環境をつくって・・・
python -m venv .venv && source .venv/bin/acti
WSLでローカルLLM（環境構築）
ローカルLLMで遊ぶ準備メモ (2024-02-23 現在)
WSL (Ubunts)
apt-get upgrade
# パッケージ更新sudo apt-get updatesudo apt-get upgrade# ロケール設定sudo apt install language-pack-jasudo update-locale LC_ALL=ja_JP.utf8# 再起動exit
p
WSLでQwen-72B-Chat-Int4
GPT-4に匹敵する出来になるのでは？と期待されていたQwen-72Bが
公開されましたね！
どれどれ・・・
ご家庭のパソコンで70Bなんて無理無理かたつむり・・・
あれ？以前に70Bモデルを動かしたことあったような・・・？
やってました・・・
Windows11(CPUメモリ128G) RTX4090 (GPUメモリ24G), Python3.11です。
もう一度やってみましょう！その次
ローカルLLMでRAG over Code
ローカルAgentで何をするにせよ、先人の資料やコードを読まないと始まりません。趣味で遊んでる程度の人が、公式ドキュメントを読んだだけでは何にもわからないですからね！
つまり、今、必要なのは！コードの読解を助けてくれるAgentです。
前回のコードにRAG over Codeの能力を追加して、リポジトリの読解を助けてもらいましょう。そうしましょう。
LangChain公式のユースケースは基本的
TheBloke/openchat_3.5-GPTQでLangChain
OpenChatクラスで呼び出すとChatモデルになります。
Agentとして呼び出すならLLMモデルのほうが良いのかもしれません。
TheBloke/openchat_3.5-GPTQが公開されているので、LLMとして呼び出せるか試してみました。
WSLに環境構築します。
python -m venv .venv && source .venv/bin/activate && pip in
OpenChat3.5でLangChain
ChatGPT3.5(March)に匹敵するかもしれないOpenChat3.5でLangChainのAgentが動くか知りたかったので、動かしてみました。
OpenChat3.5サーバーを動かす
OpenChat3.5はChatGPT互換APIのサーバーとして動作させることを推奨されています。
まずは、動作環境を作成しましょう。
WSL + Python3.11で動作を確認しています。
m
RWKV-5-World-3BでLangChain？
RWKV-5-World-3BでLangChainのAgentが動作するか知りたかったので、
カスタムモデルを作りました。
from typing import Any, Dict, List, Mapping, Optional, Setfrom huggingface_hub import hf_hub_downloadfrom rwkv.model import RWKVfrom rwkv