#AIチャット
![[UI]Chainlitで専門家AI_Local-LLM+Langchain+ChromaDB](https://assets.st-note.com/production/uploads/images/125446245/rectangle_large_type_2_b77f8f7b5a346ba31706d146ae516ec1.png?width=800)
[UI]Chainlitで専門家AI_Local-LLM+Langchain+ChromaDB
LLMのUIにはtext-generation-webuiをはじめ様々なものがありますが、今回はChainlit(GitHub)に下記の記事で作成したDB(Langchain+ChromaDB)を使ってLocal-LLM(Starling-LM-7B-alpha)に回答してもらうChat-UIを作成します。
ほかのユーザーに使用してもらう際に、UIはユーザーの認知容易性の面でメリットがあります。
![[UI]Chainlitで専門家AIと会話する_Local-LLM+Document Summary Index](https://assets.st-note.com/production/uploads/images/124129570/rectangle_large_type_2_a21db0a60e2b5715afe4c05687b9b779.png?width=800)
[UI]Chainlitで専門家AIと会話する_Local-LLM+Document Summary Index
LLMのUIにはtext-generation-webuiをはじめ様々なものがありますが、今回はChainlit(GitHub)に下記の記事と同じ方法で作成したindexを使ってLocal-LLMに回答してもらうChat-UIを作成します。
クラウドや高性能PCで作成したindexをそれほど高性能でない別のPC内で活用することができます。ほかのユーザーに使用してもらう際にUIはユーザーの認知容易
Local PCに専門家を作る_Local-LLM+Document Summary Index
下記の通常のRAGに対し、LlamaindexのDocument Summary Indexを用いた事例です。
検索に要約文を用い、検索速度をあげつつ、要約文に質問例を追加することでembeddingでの検索の精度をあげることができます。
今回も前回同様に、専門知識が論文や特許になっているような、所謂「研究者」のような専門家チャットAIの実装を試みます。
0. 環境
1. 知識の収集・格納