マガジンのカバー画像

自然言語処理入門

827
本
自然言語処理関係のノートをまとめました。
運営しているクリエイター
npaka

LlamaIndex の QAプロンプト と Refineプロンプト のカスタマイズ

「LlamaIndex」の「QAプロンプト」と「Refineプロンプト」のカスタマイズ手順をまとめました。…

npaka
npaka
1年前
20

LlamaIndexの性能向上のためのテクニックガイド

以下の記事が面白かったので、かるくまとめました。 1. はじめに「LlamaIndex」によるRAG (検…

npaka
npaka
1年前
69

ELYZA-japanese-Llama-2-7b で LlamaIndex を 試す

「ELYZA-japanese-Llama-2-7b」で「LlamaIndex」を試したのでまとめました。 1. 使用モデル今…

npaka
npaka
1年前
32

Google Colab で ELYZA-japanese-Llama-2-7b を試す

「Google Colab」で「ELYZA-japanese-Llama-2-7b」を試したので、まとめました。 1. ELYZA-ja…

npaka
npaka
1年前
76

LLMのファインチューニング で 何ができて 何ができないのか

LLMのファインチューニングで何ができて、何ができないのかまとめました。 1. LLMのファイン…

npaka
npaka
1年前
474

LlamaIndexによる 埋め込みモデル のファインチューニングを試す

合成データによる「埋め込みモデル」のファインチューニングを試したのでまとめました。 1. …

npaka
npaka
1年前
33

OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留を試す

OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留を試したのでまとめました。 1. GPT-4 から GPT-3.5 への蒸留「LlamaIndex」で、OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留のColabが提供されてたので、それをベースに独自データで試してみました。 具体的には、「GPT-4」で学習データを生成し、「GPT-3.5」でファインチューニングすることで、「GPT-3.5

npaka

Google Colab で SeamlessM4T を試す

「Google Colab」で「SeamlessM4T」を試したので、まとめました。 1. SeamlessM4T「SeamlessM…

npaka
npaka
1年前
14

Google Colab で Code Llama を試す

「Google Colab」で「Code Llama」を試したので、まとめました。 1. Code Llama「Code Llama…

npaka
npaka
1年前
55

Code Llama の概要

以下の記事が面白かったので、かるくまとめました。 1. はじめに「Code Llama」は、コードと…

npaka
npaka
1年前
73

Google Colab で PaLM 2 を試す

「Google Colab」で「PaLM 2」を試したので、まとめました。 1. PaLM 2 と Codey8月22日、Goo…

npaka
npaka
1年前
28

AutoGPTQ と transformers によるLLMの軽量化

以下の記事が面白かったので、かるくまとめました。 1. はじめに「AutoGPTQ」を「transformer…

npaka
npaka
1年前
60

つくよみちゃんの会話テキストデータセット で GPT-3.5 Turbo のファインチューニング…

「つくよみちゃん」の「会話テキストデータセット」で「GPT-3.5 Turbo」のファインチューニン…

npaka
npaka
1年前
36

GPT-3.5 Turboのファインチューニング

以下の記事が面白かったので、かるくまとめました。 1. はじめに「GPT-3.5 Turbo」のファインチューニングが利用可能になりました。「GPT-4」のファインチューニングもこの秋に提供される予定です。 初期のテストでは、ファインチューニングした「GPT-3.5 Turbo」が、特定の狭いタスクに関して「GPT-4」と同等、またはそれ以上のパフォーマンスを発揮できることが示されています。 他のAPIと同様、ファインチューニングAPIで送受信されるデータは、OpenA

npaka