[UI]Chainlitで専門家AIと会話する_Local-LLM+Document Summary Index

LLMのUIにはtext-generation-webuiをはじめ様々なものがありますが、今回はChainlit(GitHub)に下記の記事と同じ方法で作成したindexを使ってLocal-LLMに回答してもらうChat-UIを作成します。 クラウドや高性能PCで作成したindexをそれほど高性能でない別のPC内で活用することができます。ほかのユーザーに使用してもらう際にUIはユーザーの認知容易性の面でメリットがあります。 0. 環境 1. 知識の収集・格納 今回はa

Local-LLM+LongLLMLingua, RAG series 3/n

RAGシリーズ３回目。 今回はLlamaindexでLongLLMLinguaを用いたRAGです。 通常のRAGではpromptが長くなりがちで、計算コストが嵩む(ChatGPTなどを使用する場合は費用が嵩む)、性能が低下する(ex.：“Lost in the middle”)、などの課題が生じます。それらの課題を、適切にpromptを圧縮するLLMLinguaとRerankingなどを組み合わせることで克服する手法です。 0. 環境 1. text読込 今回はLon

[雑感]Local-Agentに向けて

比較的公知になっている知識の代表例が論文と特許です。 この中でも特にtext情報の処理については依然から活発に取組まれてきたものの(tfidf~bert)、今年のLLMの登場・普及によって、その活用が飛躍的に進んだことは周知のことと思います。 特に論文や特許などの自然言語の処理で課題になっていたことの一つに「構造化」があると思います。この構造化に対し、LLMは有効です。目的を聞けば目的を答え、返答のフォーマット指定すればそれに沿う、きわめて従順で聡明で、その献身性には頭が

Local PCに専門家を作る_Local-LLM+Document Summary Index

下記の通常のRAGに対し、LlamaindexのDocument Summary Indexを用いた事例です。 検索に要約文を用い、検索速度をあげつつ、要約文に質問例を追加することでembeddingでの検索の精度をあげることができます。 今回も前回同様に、専門知識が論文や特許になっているような、所謂「研究者」のような専門家チャットAIの実装を試みます。 0. 環境 1. 知識の収集・格納 今回はarXivで取得したPDFをフォルダに格納しました。 検索した単語は"

[自由研究に]ML-Potential_CHGNet,

Localで動かせる機械学習ポテンシャル、力場の紹介も兼ねたメモです。安価なPCでも動かせるため、中高生の方にぜひ研究者気分を少し味わってみて欲しいです。 紹介するのは少し前のものになりますが、下記のCederらのCHGNetです。 しばらくMatbenchで一番上に記載されていました。 機械学習(ML)ポテンシャルを使った分子動力学(MD)シミュレーションは低スペックのPCでも手軽に動かせるものが多いものの、性能的にはまだまだ発展途上だと思います。 一方で低スペック

いつでも手軽に呼び出せる専門家_Local-LLM+RAG活用事例

下記で紹介したLlamaindexのRecursive Retriever + Node Referencesを用いたRAG活用事例です。 専門知識を気軽に活用したくても、大抵、専門知識を持った人材(以下、専門家)は高価で気軽に使えず、課題も多いと思います。 具体的には下記などがあります。 希少で活用頻度が低い 高価で予算が必要 レスポンスが悪い（コミュニケーションに時間を要す） コミュニケーション難度が高い（質疑の歩留まりが悪い） 能力が不明瞭 発言のエビデン

[memo]Knowledge Graph&Baseの作成

Knowledge Graph&Base(KG, KB)の作成事例の紹介も兼ねたメモです。 wikipedia、newspaper、GoogleNewsから取得したtext情報からREBELでのKG, KBの作成方法です。 下記で紹介する記事では、 ・ 単純なtextからのKB作成 ・ 異なる表記で同じ意味の項目の統合 ・ Web上のニュース記事からのKB作成 ・ 複数記事からのKB作成 と順に説明されており、非常にわかりやすいです。 0. 参考記事 1. REBEL

Local-LLM+Knowledge Graph+RAG, RAG series 2/n

RAG(検索拡張生成) システムシリーズ２回目。 今回はLlamaindexでKnowledge Graph(KG)を用いたRAGです。 KGは似た用語でKnowledge Base(KB), Concept Graph(CG)などがありますが、ざっくりと知識をグラフにしたものです。その利点はデータの管理が楽で、新しい知識を追加し続けることができ、情報のソース等のメタデータも取り込むことが可能であることだと思います。 一つの文献を情報源に用いるのではなく、様々なソース(論

Local-LLM+RAG, 1/n

特定の情報を基にLLMに応答させる手法として、言わずとも知れたRAG(検索拡張生成) システムですが、関連のテクニックが溢れて大変なので、メモがてら残していきます。 今回はLlamaIndexで子chunksを使ったRecursive Retriever + Node Referencesと検索でhitしたtextの前後のtextも参照するNode Sentence Windowです。 RAGではベクトル化したtextをベクトルの近さとかで検索するので、chunkが大きい

Local-LLMで特許文献整理

Bertopicで特許文献の整理をしてみました。 分類するため、要約にZephyr-7B-βを、要約文のembeddingにbge-large-en-v1.5を使用しました。 対象は、最近また騒がしい半導体を勉強がてら使用しました。 0. 環境 OS：Windows CPU：Intel(R) Core i9-13900KF RAM：128GB GPU：RTX 4090 1. 特許情報取得 Google Patentsで「(semiconductor) country

Zephyr-7B-βを試した

Zephyr-7B-βをαと比較しました。 0. 環境 OS：Windows CPU：Intel(R) Core i9-13900KF RAM：128GB GPU：RTX 4090 1. Arxivの"NLP"論文のabstractを要約 Arxivの"NLP"最新論文の情報を収集 import arxivarxiv_query = "NLP"search = arxiv.Search( query=arxiv_query, max_re

思い出したようにnote触ってる