マガジンのカバー画像

便利　IT

20
本
運営しているクリエイター
閣下

#LLM

Baku

Baku

【ローカルLLM】Gradioとllama-cpp-pythonで日本語チャットボットを作る

【ローカルLLM】Gradioとllama-cpp-pythonで日本語チャットボットを作る

先日の記事に続き、ウェブUI用のPythonライブラリ「gradio」を使って、簡単なチャットボットを作ってみた記録。

今回はLlama系の言語モデルを使いたいので、モデルとgradioUIをつなぐPythonバインディングに「llama-cpp-python」を使用。これにより軽量な量子化モデル（GGUF）を扱える。

ひな形を探す

Hugging Face Spaces用のウェブUIサンプ

もっとみる
株式会社IZAI（イザイ） ｜技術ブログ

株式会社IZAI（イザイ） ｜技術ブログ

LangChainを使った3つのLLM文書要約手法「Stuff, Map Reduce, Refine」を検証してみた。

LangChainを使った3つのLLM文書要約手法「Stuff, Map Reduce, Refine」を検証してみた。

こんにちは！株式会社IZAI、エンジニアチームです。
今回は、LLMのタスクとして活用の場面が多い文章要約の3つの手法「Stuff, Map Reduce, Refine」について検証して、その精度を比較していきます。

LangChainとは？LangChainとは自然言語処理の分野で活躍を期待されているオープンソースのライブラリで、チャットボットや自動要約アプリなどのAIアプリケーションの開発

もっとみる
ぬこぬこ

ぬこぬこ

いちばんやさしいローカル LLM

いちばんやさしいローカル LLM

概要ローカル LLM 初めましての方でも動かせるチュートリアル

最近の公開されている大規模言語モデルの性能向上がすごい

Ollama を使えば簡単に LLM をローカル環境で動かせる

Enchanted や Open WebUI を使えばローカル LLM を ChatGPT を使う感覚で使うことができる

quantkit を使えば簡単に LLM を量子化でき、ローカルでも実行可能なサイズに

もっとみる
Morph

Morph

データのための、NotionやFigmaのようなツールをつくりたい

データのための、NotionやFigmaのようなツールをつくりたい


私たちは毎日データに触れている今日、私たちは誰しもが毎日データに触れています。ソーシャルメディアからeコマースまで、データはかつてないスピードで生成されています。しかし、このデータを管理、分析、視覚化するためのツールは、不便で使いにくいことが多いと感じます。

そこで私たちは、Morphを日常的に使いやすいツールにしたいと考えています。直感的で柔軟性があり、パワフルなプラットフォームを作ることで

もっとみる
鈴木いっぺい (Ippei Suzuki)

鈴木いっぺい (Ippei Suzuki)

Google NotebookLMを使ってみた - もしかしたらかなり使えるかも！

Google NotebookLMを使ってみた - もしかしたらかなり使えるかも！

昨年の12月に発表されたGoogleのNotebookLMというツール、自分が提供したデータのみを使って生成AIシステムを作ってくれる、という見た目はとても便利そうなツールです。
次のサイトからGoogleのアカウントで登録してすぐに使えるようになります。

今のところ、あんまり詳しいデータはネット上にないんですが、次のブログだけ、そこそに使い込んでいる人が自分の使いご事を解説してくれています。

もっとみる
peisuke

peisuke

AutoGenをガッツリ試してみる：SQLを利用したDB内データの可視化

AutoGenをガッツリ試してみる：SQLを利用したDB内データの可視化

概要前回の記事では、LangChainのAgent Toolkitを利用してSQLに問い合わせるサンプルを作ってみました。ただし、LangChainでSQLクエリを実行するため結果がテキストとして出力されます。人数を聞くなどする分には問題ないのですが、出力された結果がテキストとしてプロンプトに含まれてしまうのでSQLデータを利用したデータをプロットしたり加工するのには向きません。本記事ではDBから

もっとみる