記事一覧
LangChainを用いて大量ファイルをロードするVectorDBを作ってみた(8)
はじめに前回は、XML形式のファイルから必要なエレメントの情報のみVectorDBに格納する方法を試してみました。 https://qiita.com/ogi_kimura/items/4bbf2c987856a9435280…
LangChainを用いて大量ファイルをロードするVectorDBを作ってみた(7)
はじめに前回、３つのVectorDB（chroma、Qdrant、FAISS）を用いて、生成AIに質問を投げてみたのですが、芳しくない結果となってしまいました。 https://qiita.com/ogi_kim…
LangChainを用いて大量ファイルをロードするVectorDBを作ってみた(5)
はじめに 前回の投稿では、`Chroma`、`Qdrant`、`FAISS`の３つでローカルのVectorDBを作成プログラムを作成しました。 https://qiita.com/ogi_kimura/items/551c93cd9440…
Excelマクロで仕事効率化（初心者向け）(3) | 一括請求書PDF作成
前回は、請求書を作成するためのファンデーション（基礎）について説明をいたしました。これにより、VBAプログラミングの直前まで進めることができます。
今回は、実際にVBAプログラミングを実施して、一括での請求書PDFファイル作成を目指します。
ではスタートです。
データ入力 まずは、請求書に表示させるためのデータを入力します。
以下のような感じで入力してみました。
よく考えると、「金額」は「単
Excelマクロで仕事効率化（初心者向け）(2) | 一括請求書PDF作成
はじめに 前回は、この連載記事を書くきっかけについてお話をさせて頂きました。
今回は、「一括で請求書PDFの作成」をストーリー仕立てでプログラミングをしていこうと思います。単純にプログラムの最終結果を示すだけではなく、課題に対してどのようなアプローチでプログラミングをするかということも見ていただければと、思っています。
Excelマクロについて はじめにExcelマクロについて、概要を理解し
LangChainを用いて大量ファイルをロードするVectorDBを作ってみた(12)
はじめに 大量ファイルを単純にVectorDBに登録して、そのデータベースに対して生成AIに質問をしても、精度の高い回答を得られないことが分かってきました。
前回と前々回では、各XMLファイルの中にある「タイトル情報」を基に生成AIによる自動タグ付けを実施し、それをVectorDB (Chroma)の属性として登録することをしてみました。これで、VectorDBに対する準備ができました。
今
LangChainを用いて大量ファイルをロードするVectorDBを作ってみた(11)
はじめに 前回は、各XMLファイルの中にある「タイトル情報」を基に「自動タグ付け」して、それをVectorDB (Chroma)の属性として登録することをしてみました。これで、VectorDBに対する準備ができました。
ただ、この記事を書いた後に大量ファイルをロードしようとしたのですが、処理時間を非常に要することがわかりました。
今までは1ファイルの処理に0.01～0.1秒かかる程度だったの
LangChainを用いて大量ファイルをロードするVectorDBを作ってみた(10)
はじめに 前回は、`chainlit`を`streamlit`に置き換えて、「XMLファイルの名称(10桁の数字)を入力するためのテキストボックス」と「プロンプト入力ボックス」の両方を表示させて入力できるようにしました。
今回で10回目の記事投稿なのですが、少しずつ進化しているような気がしています。
今まで、XMLファイルの中で必要なデータのみをデータベースに登録したり、`metadata`
LangChainを用いて大量ファイルをロードするVectorDBを作ってみた(9)
はじめに前回は、`chainlit`を用いて、プロンプトの最初の10桁はファイル名、11桁目以降は質問内容という、プログラムを作っていました。`chainlit`について、複数の入力欄を出力できるサンプルを見つけることができなかったからでした。とてもこんなプログラムでは、商用利用することはできません。
そんな中、いろいろなプログラミングのサンプルを検索していくと、`streamlit`というもの
![ChatGPT/LangChainによるチャットシステム構築[実践]入門のプログラムを試す](https://assets.st-note.com/production/uploads/images/143026941/rectangle_large_type_2_7854e6509da0d7bddccb4aa8b9c8ae75.jpeg?width=800)
ChatGPT/LangChainによるチャットシステム構築[実践]入門のプログラムを試す
はじめに 現在私は「LangChain」のプログラムに沼っており（若い人が使う言葉ですね）、今回は「ChatGPT/LangChainによるチャットシステム構築[実践]入門」を読んで、いろいろプログラミングをして楽しむことにしました。
今まで私は「製造業の生産管理システム」や「プログラム言語の構文解析システム」など、いろいろなプログラミングをしてきたのですが、生成AI分野のように完全な正解が無く
LangChainを用いて大量ファイルをロードするVectorDBを作ってみた(8)
はじめに前回は、XML形式のファイルから必要なエレメントの情報のみVectorDBに格納する方法を試してみました。
https://qiita.com/ogi_kimura/items/4bbf2c987856a9435280
大量ファイルをVectorDBに取り込んだ場合、データ量が多すぎて「ぼやけてしまう」せいか、生成AIから返ってくる回答精度が悪くなることもわかってきました。
今回は、前
LangChainを用いて大量ファイルをロードするVectorDBを作ってみた(7)
はじめに前回、３つのVectorDB（chroma、Qdrant、FAISS）を用いて、生成AIに質問を投げてみたのですが、芳しくない結果となってしまいました。
https://qiita.com/ogi_kimura/items/dacebc6d548af229d257
そこで今回は、ファイルの情報をそのままVectorDBに登録するのではなく、ある程度選別してVectorDBへ格納したらど
LangChainを用いて大量ファイルをロードするVectorDBを作ってみた(6)
はじめに前回は、Chroma、FAISS、QdrantのVectorDBを用いて、chainlitを適用して生成AIから結果を出してみました。今回はもう少し質問を重ねて、その結果とスコアを確認していきたいと思います。
https://qiita.com/ogi_kimura/items/d1d263ece0e23c7d7576
では、行ってみます。
いろいろ質問してみる３つのVectorDB
LangChainを用いて大量ファイルをロードするVectorDBを作ってみた(5)
はじめに 前回の投稿では、`Chroma`、`Qdrant`、`FAISS`の３つでローカルのVectorDBを作成プログラムを作成しました。
https://qiita.com/ogi_kimura/items/551c93cd94404c9381c7
今回は、それらのプログラムを実行して、本当にVectorDBができているかを確認します。
それから`chainlit`を適用して、生成AI
LangChainを用いて大量ファイルをロードするVectorDBを作ってみた(4)
はじめに 前回までの投稿(※)で、VectorDBに「Chroma」を適用して大量ファイルを読み込ませて、「chainlit」で質問を受ける画面を立ち上げるようにしたのですが、ファイル数が多くなるにつれて、求めている回答が得られないという事象が発生しました。
「チャンクサイズ」や「emmbeddingモデル」にも左右されると思うのですが、あまりお金をかけたくないのでvectorDBで精度の違いを確
LangChainを用いて大量ファイルをロードするVectorDBを作ってみた(3)
はじめに前回作成した「大量ファイルをロードするVectorDB」を基に、今回は『LangChat完全入門』（田村悠 著）のプログラムを参考にして、生成AI（OpenAI）から回答をもらう仕組みを作ってみました。その実際の流れを文章にしてみました。
Webブラウザ表示については、「chainlit」という直感的にコーディングできるライブラリを用いてみることにしました。
ソースコードの利用『Lang
LangChainを用いて大量ファイルをロードするVectorDBを作ってみた(2)
ループを回してデータベースに情報を格納約２週間かけて、一通り『LangChain完全入門』のサンプルプログラムをコーディングして、動作させることができました。ただ、「chainlit」については「pip install chainlit」でインストールすると、実行時にエラーが出てしまいました。そのため、バージョンを0.5.2まで落とし、「pip install chainlit==0.5.2」とし
もっとみる
LangChainを用いて大量ファイルをロードするVectorDBを作ってみた(1)
私の経歴現在、私は某ユーザ企業の情報システム部門に所属しています。いわゆる「情シス」です。
以前はソフトウェア会社に勤務をしてプログラミングやプロジェクト・リーダーなどをやっていましたが、ソフトウェア開発界隈では「バリュー」（ここでは難易度やお客様が喜んでくれる度合でしょうか）ではなく「人月」（ここではプログラムステップ数若しくは工数）での評価をしていることに漠然と不安を感ていました。
それは、