OpenAI互換APIサーバーを動かしたローカルPCのLLMで LangChain を試す

タイトルが技術用語いっぱいで騒がしい感じですいません。FastChatのバージョンアップで、OpeAI 互換のAPIサーバー機能が追加されてOpenAI SDKからローカルPCで動くLLMを使えるようになったので、早速ためしてみました。 1. APIサーバーの起動FastChatのドキュメントに従ってAPIサーバー類を起動します。 まずはcontroller。 python3 -m fastchat.serve.controller お次はmodel_worker。今回