2023年3月の記事一覧
![](https://assets.st-note.com/production/uploads/images/101431728/rectangle_large_type_2_fe95119bab24a7b0630242a346639743.png?width=800)
LangChainとFastAPIのストリーミング機能を使って、ChatGPTで生成したテキストをAPIでリアルタイム送信する方法
こんな動作をするAPIの話。 LangChainの以下のIssueでも取り上げられていたのでメモです。 ソースコードimport threadingimport queueimport uvicornfrom fastapi import FastAPIfrom fastapi.responses import StreamingResponsefrom langchain.chat_models import ChatOpenAIfrom langchain.callb