マガジンのカバー画像

Local LLM

17
運営しているクリエイター

#python

いつでも手軽に呼び出せる専門家_Local-LLM+RAG活用事例

いつでも手軽に呼び出せる専門家_Local-LLM+RAG活用事例

下記で紹介したLlamaindexのRecursive Retriever + Node Referencesを用いたRAG活用事例です。

専門知識を気軽に活用したくても、大抵、専門知識を持った人材(以下、専門家)は高価で気軽に使えず、課題も多いと思います。
具体的には下記などがあります。

希少で活用頻度が低い

高価で予算が必要

レスポンスが悪い(コミュニケーションに時間を要す)

コミュ

もっとみる
Zephyr-7B-βを試した

Zephyr-7B-βを試した

Zephyr-7B-βをαと比較しました。

0. 環境

OS:Windows
CPU:Intel(R) Core i9-13900KF
RAM:128GB
GPU:RTX 4090

1. Arxivの"NLP"論文のabstractを要約

Arxivの"NLP"最新論文の情報を収集

import arxivarxiv_query = "NLP"search = arxiv.Search(

もっとみる