LangChain

DeepLearning.AIのLangChainの無料コースをやってみた

ディープラーニング分野の超有名人で、オンライン教育でも有名なAndrew Ngさんのサイト「DeepLearning.AI」で、LangChainの作者のHarrison Chaseさん本人が直々にLangChainの概要を解説してくれる無料のショートコース「LangChain for LLM Application Development」を受講してみました。結論：LangChainを最速で使えるようになりたい方にオススメします💪Harrison ChaseさんとAnd

Langchain新機能: ChatModel用のキャッシュメモリ

LangChain 0.0.213 から、ChatModelにもキャッシュがサポートされています。ChatModel用のキャッシュとしては、InMemory キャッシュと SQLAlchemy キャッシュの２種類がサポートされています。早速ためしてみます。 InMemoryキャッシュの動作 🌵debugオプションをつけて動きを追ってみます。 import langchainfrom langchain.chat_models import ChatOpenAIlang

FlowiseAI：GUIで手軽にLangChainを使ったAIアプリを作成できる

FlowiseAIはドラッグアンドドロップの軽快なUIで、LangChainJS を使ったAIアプリケーションを手軽に開発できるオープンソースのツールです。その特徴と使い方を簡単に紹介します。🌽 FlowiseAIの概要オープンソースのMITライセンス: 商用利用可 LangchainJSを使用したLLMフローを素早く構築可能 Node Typescript/Javascriptで書かれ、OpenAI はじめとした各種LLM（ローカル動作のggmlモデルも使えます）、各

OpenAI互換APIサーバーたてて、LangChainで遊ぶ

FastChatがバージョンアップして、LangChainとOpenAI互換のローカルAPIサーバーとの統合方法が詳しめで紹介されていました。モデルのダウンロードFastChat 初回起動時に自動でモデルがダウンロードされるので、特に何もしなくても大丈夫です。以前のVicuna-13b-v1.1では、LLaMAから手動でデルタを適用する必要がありましたが、現行のFastChat のバージョンでは、モデル起動時に自動でデルタ適用済みのモデルがダウンロードしてくれるように

LangChainまたまた新機能: OpenAI Multi Functions Agent

中の人がどうなってるのか、にわかに信じられませんが、またまたLangChainの新機能が発表されていました😮 今度の新機能は、「Multi Functions Agent」です。 Agentが１ステップで複数の関数呼び出しをするという機能です。 Tools定義google検索ツール(SerpAPI)を tools に登録します。 llm = ChatOpenAI(temperature=0, model="gpt-3.5-turbo-0613")search = Ser

LangChainのdebugオプション

LangChainのAgentですけど、OpenAI Function calling対応になって、ますます動作が複雑になってますよね。出力オプション verbose=True を有効にしてもイマイチ動作が追いきれない時もあると思います。そんなときは、langchain.debugオプションを有効にすれば、より詳しい動作を表示させることができます。 import langchainlangchain.debug = True 知っている方は多いと思うのですが、恥ずか

Langchain新機能: エビデンスの引用付きの解答が得られるQA機能（citation_fuzzy_match_chain）

またまた、Langchainの新機能「citation_fuzzy_match_chain」が公開されていました。OpenAI APIの「Function Calling機能」を利用して、回答に加えて裏付けとなるエビデンスを引用で示すことが出来るもののようです。何はともあれ試食します😊ライブラリなどの準備 !pip install langchain >/dev/null!pip install openai >/dev/null# 環境変数の準備import os

LangChainの新機能：メタデータを保持するTextSplitter

LangChain 0.0.203で実装された、Markdownファイルのヘッダ情報をメタデータとして保持しながらテキスト分割を行う、MarkdownHeaderTextSplitter 機能を試してみました。１．前準備（Google Colab）# ライブラリーのインストール!pip install langchain!pip install openai!pip install chromadb!pip install tiktoken# 環境変数の準備import

OpenAIのFunction calling機能を活かした、LangChainの新機能Taggingを試す

Tagging機能OpenAIのFunction calling機能を活かした、LangChainのTagging(tags)機能を試してみます。 pydanticの機能を使ってスキーマを設定して、テキストにタグ付けできる機能のようです。さっそく試してみますネタは青空文庫の「走れメロス」の読み上げをシュッと試してみようと思います。読み上げの実装はbbzさんの記事を参考にさせてもらいました。ファイル読み込み # ファイルを読み込み、テキストを取得します。with o

OpenAIのFunction calling機能を活かした、LangChain 「OpenAI Functions Agent」を試す

LangChainから、従来のMRKL Agentのツール選択にOpenAI の関数呼び出し機能を活用した新たなAgentが公開されていました。早速試してみます公式サンプルを少しアレンジしながら google colab で試してみます。インストールほか # ライブラリーのインストール!pip install langchain==0.0.200!pip install openai!pip install google-search-results!pip in

gpt-3.5-turbo-16kで要約文を作成

以前、長めの英語のyoutube動画の音声を文字起こししてから、langchainで要約文を作成することを試みました。 gpt-3.5-turboのコンテキスト長の制限4kのため、あらかじめ適当なサイズにテキストを分割して中間要約したのちに、全体の要約文を生成していましたが、gpt-3.5-turbo-16kが公開され、コンテキスト長が4倍の16k!になったので、ケチケチせず一気にぶっこむ作戦で要約文を作成してみます。というわけで、Apple WWDC2023の基調講演

Koeiromap-freeとlangchainであそぶ

先日、rinna社から音声とフェイスモーションの生成ＡＩサービスKoemotionが発表されていました。悲しいかなフェイスモーションを試すスキルが自分には無いので、Koemotionの音声合成機能Koeiromapの単体と、langchainを組み合わせて遊んでみました。とにかくkoeiromapを試食！KOEIRO_API_KEYに各自取得したKeyを設定してください。 import requestsimport jsondef koeiro_free(text="こ

rinna社からLangChainのAgent動作に特化したvicuna-13bモデル

rinna社から、先日の日本語特化のGPT言語モデルの公開に引き続き、今度はLangChainをサポートするvicuna-13bモデルが公開されました。日本語がとても流暢な、rinna/japanese-gpt-neox-3.6b-instruction-ppo と、論理的な推論に強いモデルを組み合わせることを提案してくれているのだと思います。痒い所に手が届くというか…。流石です。というわけで、早速ためしてみます！😊 １．モデルの概要vicuna-13b-delta

２時間のYoutube音声を自動で要約～ NVIDIAのCOMPUTEX 2023基調講演

先日のNVIDIAのCOMPUTEX 2023でのジェンスン・ファンさんの基調講演を題材に、Youtube音声の要約課題に再トライしてみました。音声をダウンロードトータル時間：１時間５５分５７秒実行時間：２秒 !yt-dlp -x --audio-format mp3 https://youtu.be/i-wpzS9ZsCs -o nvidia2023.mp3 文字起こし時に長いと、なぜか止まってしまうので適当な時間に分割します。実行時間：１秒 !ffmpeg

2023年6月の記事一覧