LangChainのv0.0.166からv0.0.178までの差分を整理（もくもく会向け）
本日は第5回目のLangChainもくもく会なので、前回5月11日に実施した回から本日までのLangChainの差分について整理しました。
ドタ参OKですので、ぜひお気軽にご参加くださいー。
v0.0.166 (2023.05.12)
新しい機能の追加
・Azure Cognitive Search Retrieverの追加
・環境変数用のドキュメントの追加
・Aleph Alpha APIキー属性の追加
・HuggingFaceツールのロード
・AnyscaleサービスにLLMsサポートの追加
・MLflow用コールバックハンドラの追加
・すべてのパーサーに_typeの追加
既存機能の変更
・Harrison/new search
・テストワークフローのリファクタリング
・Contributionガイドラインの更新
・[ドキュメント]Kinstaをデプロイメントプロバイダのリストに追加
・距離指標のパラメータ化; リント; フォーマット; テスト
バグ修正
・AgentExecutorでrun_managerをすべてのAgentFinishリターンに追加する修正
・自己クエリ検索機能プロンプトのフォーマットにおける軽微な問題の修正
v0.0.167 (2023.05.13)
新しい機能の追加
・langchain/docs/modules/models/llms/integrations/anyscale.ipynbのtypoを修正 (@kylehh)
・BaseStringMessagePromptTemplate.from_templateの返り値をgenericにする (@jonasalexander)
・LLMSummarizationCheckerChainのpromptsのtypoを修正 (@yule-BUAA)
・on_chat_message_startを追加 (@vowelparrot)
・`langchain[openai]`をインストールする際に`pyproject.toml`に`tiktoken`を追加 (@ofey404)
・llmコールバックで実行パラメータを追加パラメータとして追加 (@agola11)
・Invocation Paramsを追加 (@vowelparrot)
・GPTCacheの初期化方法を最適化 (@SimFG)
・prestodbプロンプトを追加 (@yanghua)
・実際の今日の日付をLLMが生成できるようにプロンプトを強化 (@yanghua)
・`arxiv`レトリーバを追加 (@leo-gan)
・MessagesのDereferenceを追加 (@vowelparrot)
・huggingfaceテキスト生成推論サーバーをサポートするクラスを追加 (@gsaivinay)
・論文からの憲法原則を追加 (@hwchase17)
・pytest --only-extendedと--only-coreオプションを追加 (@eyurtsev)
・Anyscaleの__init__.pyを更新 (@kylehh)
既存機能の変更
・doc loadersのエラーメッセージのフォーマットを改善 (@andreakiro)
・PG vectorstoreの取得に関するドキュメントを追加 (@eRuaro)
・他のDB用に現在の日付を取得する方法を提供 (@yanghua)
・vespaインターフェイスを改善 (@dev2049)
v0.0.168 (2023.05.14)
新しい機能の追加
・Steamship Image Generation Toolを追加 by @vowelparrot
・FLARE-inspired chainを開発中 by @dev2049
既存機能の変更
・拡張テストを有効化 by @eyurtsev
・ChainをChain Factoryに変換 by @vowelparrot
・SQLデータベースのプロンプトから引用符を削除（構文エラーを引き起こす） by @hansvdam
・SQLプロンプトの改善 by @hwchase17
・CSVエージェントでプロンプトにDFを含めないオプション by @hwchase17
・Harrison/standard llmインターフェース by @hwchase17
・Harrison/promptコンストラクタメソッド by @hwchase17
バグ修正
・PDFドキュメントの階層とフォーマットの修正 by @timothyasp
・フレーキングユニットテストをスキップ by @dev2049
v0.0.169 (2023.05.15)
新しい機能の追加
・カスタムベースZapierプロンプトを許可する by @preritdas
・エンベディングルーターの追加 by @hwchase17
・エージェントシリアライゼーション by @hwchase17
・from_templateでの部分テンプレートを許可する by @hwchase17
既存機能の変更
・[Breaking] トレーサーのリファクタリング by @vowelparrot
・ドキュメントローダーのクラス分け by @leo-gan
・例: Harrison/spark接続 by @hwchase17
・Harrison/metaphor検索 by @hwchase17
・Harrison/chatopenaibaseパス変更 by @hwchase17
・HarrisonからのキーRedis by @hwchase17
・Harrison/structured chat mem機能改善 by @hwchase17
・メッセージリストの機能改善 by @hwchase17
・Harrison/multithreadingディレクトリローダー改善 by @hwchase17
・Harrison/summaryメモリ履歴の変更 by @hwchase17
・Harrison/headers for openaiの改善 by @hwchase17
・Harrison/json new lineの変更 by @hwchase17
・Harrison/azure content filter機能変更 by @hwchase17
・Harrison/virtual time機能変更 by @hwchase17
バグ修正
・#4087の修正: 正しいCSV方言を設定する by @rick2047
v0.0.170 (2023.05.16)
新機能の追加
・RELLM実験的LLMデコーディングを追加
・rebuffを追加
・既存のOpenWeatherMapツールをパブリックAPIに追加
・チャットPDFオープンソースを含むgallery.rstを更新
・Telegramチャットローダーを追加
・sitemapローカルを追加
・pdfplumber PDFローダーをBaseBlobParserとともに追加（ビジュアルデバッガーなし）
・Docugami DataLoaderを追加
・HuggingFaceTextgenInference LLMクラスに出力レスポンスのストリーミングサポートを追加
既存機能の変更
・タイピングに関する変更を適用
・JSONローダー修正を適用
・デフォルトでopenai_api_versionを持たないように変更
・組み合わせたメモリに関する警告を追加
・パラメータNotionデータベースを適用
・WebBaseLoaderでユーザー指定のUser-Agentを尊重
・チュートリアルをドキュメントのトップレベルに移動
・Makefileの更新（タイポ）
・YoutubeLoaderのvideo_id抽出を改善
・click.pyを更新してエージェントにエラーを返す
・YouTubeローダー：正規表現を組み込みのパーサーに置き換え
・環境情報をRunに追加
・非同期デフォルトを追加
・トップkを追加
v0.0.171 (2023.05.17)
新しい機能の追加
・Conceptsのドキュメント追加
・GraphQL Query Toolの追加
・metadataのsourceフィールド追加
・PowerBI toolkit及びユーティリティの調整
・チュートリアルページとYouTubeページに新しいリンク追加
・Jupyter Notebookを使用し、MongodbでChat Message履歴を保存する例
・additional_resourcesフォルダの追加
・Google PaLM API向け指数バックオフサポート追加
・Async Shared Resourceバグ修正
既存機能の変更
・PDFパーサーのテストの整理
・Poetry lockファイルの確認
・PRの際にdocsディレクトリ対してのみlinkcheckを実行
・SerpapiのベースURLを環境変数で設定できるように変更
・headlessをオプションで設定可能にする
・DeepLakeの上書きフラグ修正
・Serverコマンドの追加
・on_llmの問題修正
・MilvusおよびZilliz Retrievalsの追加
・Wiki loaderの変更
・チャット履歴のCassandraサポート追加
・ボリュームの停止後の保存
・Tracing Walkthroughの更新
バグ修正
・SerpapiのベースURL設定を修正
・HuggingFace API向けの要約タスクタイプ追加
v0.0.172 (2023.05.18)
新しい機能の追加
・weaviate by_textを追加(by @dev2049)
・LLMとチャットモデルの実行に対して柔軟な入力フォーマットをサポートする機能を追加(by @vowelparrot)
既存機能の変更
・Github Action: poetry lockファイルのチェックを修正(by @eyurtsev)
・dataframe.pyのタイポを修正(by @eltociear)
・poetry.tomlの検証チェックを追加(by @eyurtsev)
・google protobuf depを更新(by @eyurtsev)
・Docugami docs: 最初のセルはタイトルセルにする(by @eyurtsev)
・BiliBiliLoaderのドキュメントオブジェクトのpage_contentから不要なスペースを削除(by @liaokongVFX)
・ユニットテスト用にソケットのブロッキングを追加(by @eyurtsev)
・テストグループの変更をキャッチする機能を追加(by @eyurtsev)
・サーバースタート名の変更(by @vowelparrot)
・Telegramのドキュメント読み込みに関するpandasの呼び出しの修正とテスト追加(by @0xRaduan)
・chromadbから返すデータを指定する機能の追加(by @mandgie)
・Confluence Loaderのユニットテスト追加(by @adamjq)
・Weaviateでのuuids kwargsの受け入れ機能追加(by @yujiosaka)
・twitter-the-algorithm-analysis-deeplake.ipynbの更新(by @prateekkeshari)
・Jupyterノートブックの例のプランと実行の年齢の不整合を修正(by @keenangraham)
・例を実行可能にするためのクリーンアップと依存関係の追加(by @pors)
・SelfQueryRetrieverにおいて、新しいクエリをベクトルストアに渡す機能を修正(by @Yeong0228)
・SQLDatabaseChainのクエリチェッカーの修正(by @imeckr)
・SQLDatabaseChainの直接初期化の非推奨化とfrom_llmメソッドの導入(by @imeckr)
・メッセージプロンプトテンプレートのfrom_fileメソッドの追加(by @charosen)
・cohere.pyにおいて、埋め込みのデフォルトモデルを更新(by @rajib76)
・huggingface_tools.ipynbの更新(by @anamhira47)
・Query_constructor.base.pyの_get_prompt()関数に渡された例が含まれない問題の修正(by @Dmaturana81)
・GenerativeAgentのメモリインポータンススコアを正規表現でマッチしたグループから取得する機能を修正(by @tonyz0x0)
・planner_prompt.pyのuseryをuserに変更(by @Leaking)
・PDFファイルのダウンロード後のクリーンアップを追加(by @bongsang)
・SageMakerの例の修正(by @seanpmorgan)
・qdrantドキュメントのQdrant()コンストラクタの初期化方法を正しく反映させる機能更新(by @bmannix)
・agenerateのrun_manager引数の欠落を修正(by @sixdjango)
・summarize.ipynbの更新(by @Haste171)
・コンソールコールバックの詳細化(by @hwchase17)
・OpenAIEmbeddingsのサブクラス化の修正(by @trducng)
・セッションとテナントのリトライ機能(by @vowelparrot)
・ノートブックとクライアントの修正の追加(リトライ、ドキュメントのクリーンアップなど)(by @agola11)
・2markdownローダーの追加(by @hwchase17)
・devオプションの追加(by @vowelparrot)
・タイポの修正(by @UmerHA)
・不要なコメントの削除(by @yujiosaka)
v0.0.173 (2023.05.18)
新しい機能の追加
・Hugging Face Loader: レイジーロードの追加
・FastAPI + Vercelデプロイメントオプションの追加
・一般的なドキュメントローダーの追加
・HTMLパーサーの追加
既存機能の変更
・get_started.ipynbの更新
・リトリーバドキュメントの改善
・ホームページのタイポ修正
・Docugami DataLoaderのコードレビューとドキュメント修正
・テンプレートツールレスポンスのカスタマイズを可能にする
・text splittersの改善
・retry toolの改善
・統一された目的の追加
バグ修正
・Vectorstore RedisクラスメソッドのTypeErrorの修正
・Milvus vectorstoreの未使用変数の削除
・AzureOpenAIエンベディングドキュメントの例の修正
・get_started.mdの更新
・serper apiバグの修正
・faissノルムの修正
v0.0.174 (2023.05.20)
新しい機能の追加
・Google Driveから特定のファイルタイプをロード(issue #4878)
・APIの更新: Engines -> Models
・TextLoaderの自動文字コード検出と例外処理の改善(feat #4479)
・モデルのエイリアス追加
・Spark SQLサポートの追加(#4602)
・SQLDatabaseでDatabricksをサポート
既存機能の変更
・bilibiliの修正
・チャットエージェントプロンプト作成の入力変数に人間のメッセージを追加
・sqlインポートでエラーが発生しないように変更
・GPT4ALLインテグレーションの更新
・GPTCacheのcache_obj作成ループの修正
・Redisのkwargs修正
・redisインテグレーションテストの更新
・APIChainサンプルノートブックの誤字修正(Farenheit -> Fahrenheit)
・exampleコードのエラー修正
・custom_multi_action_agent.ipynbの更新
・Zep Retriever - チャット履歴のベクター検索機能追加
・Anthropicモデルのget_num_tokensの修正
・search_pathの設定のシンタックス修正 (Snowflakeデータベース用)
・Harrison / spell executorの追加
・power bi api wrapperのインテグレーションテストとバグ修正
バグ修正
・Chatconvエージェント: 出力パーサの例外修正
・Spark作成検証チェックの簡略化[nit]
・assumptionsのスペルミス修正
・tutorials.mdの更新
・planner_prompt.pyの更新
v0.0.175 (2023.05.21)
新しい機能の追加
・examplesのautoreloadを削除
・Async検索と関連スコアの追加
・pgvectorの'IN'メタデータフィルターの追加
・weaviate vectorstore用のself query translatorの追加
・logsコマンドの追加
既存機能の変更
・Redis - Vectorstore内でのバグ修正とエラー処理の改善
・test gha workflowを手動で実行可能に変更
・Evernote Document Loaderの改善
・graphql toolの修正
・GPTCacheの例の更新
・BaseLLMクラスの__call__メソッドでのsingle promptのチェックの追加
・エージェントの最終的なアウトプットだけをストリーミング
バグ修正
・ValueErrorをImportErrorに変更
・"API update: Engines -> Models (#4915)"の取り消し
・プロンプト保存の修正
v0.0.176 (2023.05.22)
新機能の追加
・Databricks インテグレーションのドキュメントを追加 by @gengliangwang
既存機能の変更
・タイプチェックに変更 by @hwchase17
・Harrison/psychic by @hwchase17
バグ修正
・ドキュメントの厄介な誤字を修正 by @tornikeo
・agents.rstドキュメントの誤字を修正 by @jeffzheng13
v0.0.177 (2023.05.23)
新しい機能の追加
・複数ファイルを1つのUnstructured APIリクエストにまとめる機能 by @MthwRobinson
・会話取得時に言語を保持する機能 by @hansvdam
・'get_token_ids'メソッドの追加 by @vowelparrot
既存機能の変更
・Runner関数とClientを分離 by @vowelparrot
・REPLツールのクエリ、プリント、例外処理の改善 by @svdeepak99
バグ修正
・Harrison/cypherの修正 by @hwchase17
v0.0.178 (2023.05.23)
新しい機能の追加
・MRKLエージェントのレジリエンス向上 by @svdeepak99
・pineconeハイブリッド検索リトリーバーにメタデータサポートを追加 by @lbsnrs
・Elasticsearch用のSSL証明書の使用とユーザーパスワード認証の追加 by @CodeDevNinja
・get_top_k_cosine_similarityメソッドを追加して最大のトップkスコアとインデックスが取得できるように by @hwaking
・PowerBIの大幅な改良とその他の調整 by @eavanvalkenburg
・Mastodon tootsローダの追加 by @imrehg
・OpenLM LLMマルチプロバイダの追加 by @r2d4
・データセット名を位置ではなく名前で渡す by @vowelparrot
・Weaviateに追加のサポートを追加 by @jettro
・TextSplitter.split_documentsの効率改善、1回のイテレーションで処理 by @eyurtsev
・WhyLabsコールバック by @jamie256
・Azure Cognitive Services APIを呼び出すAzureCognitiveServicesToolkitの追加 by @whiskyboy
・ドキュメントローダーのドキュメントページからPsychicへのリンク追加 by @Ayan-Bandyopadhyay
既存機能の変更
・docarrayの明示的な推移依存関係を修正し、代わりにextrasを使用 by @malandis
・langchainplusクライアントとdockerファイルのポート変更を反映 by @agola11
・serpapi.pyの更新 by @venetisgr
・データの取り扱いをValueErrorからImportErrorに変更 by @leo-gan
・current_timeがNoneの場合、current_timeにdatetime.now()を割り当てる修正 by @mbchang
バグ修正
・Weaviateベクトルストアのadd_textsメソッドが間違った埋め込みを作成する問題を修正 by @Shawn91
・AutoGPTのインポートエラーを修正 by @ankitarya1019
相変わらず毎日のようにバージョンが更新されていっていますが、コンセプシャルな機能追加があるというよりは、既存機能の拡充が中心となっており、一時期より大分落ち着いてきているなぁ、と感じています。
プロンプトエンジニアリングの観点だとMicrosoftのguidanceがライブラリ的にしっかりしている印象があり、そうなってくるとLangChainの強みはRetrieverの豊富さとAgentの組みやすさかなと。Agent方面はAutoGPTとBabyAGIをより洗練させていく方向に動いている感覚がありますが、この辺の今後の拡張も気になるところです。
というわけで今夜も楽しんでいきましょう。
現場からは以上です。
この記事が気に入ったらサポートをしてみませんか？