マガジンのカバー画像

g

3
運営しているクリエイター

記事一覧

LlamaIndex の マルチモーダルRAG のしくみ

LlamaIndex の マルチモーダルRAG のしくみ

以下の記事が面白かったので、かるくまとめました。

1. マルチモーダルRAG「OpenAI Dev Day」で最もエキサイティングな発表の1つは、「GPT-4V API」のリリースでした。「GPT-4V」は、テキスト/画像の両方を取り込み、テキスト応答を出力できるマルチモーダルモデルです。これにより、LLMが新しいステージに拡張されます。

過去1年、LLMアプリケーションスタックはテキストの入

もっとみる
チャットボット・アリーナで大規模言語モデルの性能を比較してみた

チャットボット・アリーナで大規模言語モデルの性能を比較してみた

昨年11月にOpenAIがChatGPTを公開して以来、大規模言語モデル(LLM)が大きな注目を集め、これに対抗して、Meta社のLLaMA、その派生モデルのAlpacaとVicuna、Stability AI社のStableLMなど多くのオープンソースのLLMが登場しました。

これらのLLMの性能を簡単に比較し、評価できるサイトとして誕生したのがLMSYS Orgのチャットボット・アリーナです

もっとみる
Guanaco-33b / ChatGPTの99%の性能のチャットAIがローカルPCで動く!?

Guanaco-33b / ChatGPTの99%の性能のチャットAIがローカルPCで動く!?

ツイッターのタイムラインを眺めていると、QLoRAという手法を使って16ビットのファインチューニングの性能を維持しながら4bit量子化することで、単一GPUによるトレーニングで、ChatGPTの99%の性能を達成したという投稿を見かけました。

というわけで、早速ためしてみます!
手元のPCのRTX3090でギリギリ動きそうなサイズのGuanaco-33bは、LLaMAのLoRAモデルのほか、本体

もっとみる