マガジンのカバー画像

自然言語処理入門

777
本
自然言語処理関係のノートをまとめました。
運営しているクリエイター
npaka

StackLLaMA : RLHFでLLaMAを学習するための実践ガイド

以下の記事が面白かったので、簡単にまとめました。 1. はじめにこの記事では、「SFT」「RM」…

npaka
npaka
1年前
57

Google Colab で Rinna-3.6B のLoRAファインチューニングを試す

「Google Colab」で「Rinna-3.6B」のLoRAファインチューニングを試したのでまとめました。 1.…

npaka
npaka
1年前
91

Google Colab で OpenCALM-7B のLoRAファインチューニングを試す

「Google Colab」で「OpenCALM-7B」のLoRAファインチューニングを試したのでまとめました。 1…

npaka
npaka
1年前
87

Google Colab で Rinna-3.6B を試す

「Google Colab」で「Rinna-3.6B」を試したので、まとめました。 1. Rinna-3.6B「Rinna-3.6B…

npaka
npaka
1年前
97

LLM の LoRA / RLHF によるファインチューニング用のツールキットまとめ

「LLM」の「LoRA」「RLHF」によるファインチューニング用のツールキットをまとめました。 1. …

npaka
npaka
1年前
90

Stable Animation によるアニメーション作成を試す

「Stable Animation」で簡単なアニメーションを使ってみたので、まとめました。 1. Stable An…

npaka
npaka
1年前
36

Google Colab で ImageBind を試す

「Google Colab」で「ImageBind」を試したので、まとめました。 1. ImageBind「ImageBind」は、「画像」「テキスト」「音声」「深度(3D)」「熱」「IMU(慣性測定ユニット)」といった6つの異なるモダリティにまたがる共同埋め込みを学習します。これにより、クロスモーダル検索、演算によるモダリティの合成、クロスモーダル検出や生成など、すぐに使える新しい創発的アプリケーションを実現します。 2. Colabでの実行Colabでの実行手順は、次

npaka

RedPajama-INCITE のInstructモデルの活用事例

以下の記事をもとに、「RedPajama-INCITE」のInstructモデルの活用事例をまとめました。 1. R…

npaka
npaka
1年前
19

redpajama.cppを試す

「redpajama.cpp」を試したのでまとめました。macOSで動作確認しました。 1. redpajama.cpp「…

npaka
npaka
1年前
14

Google Colab で RedPajama-INCITE のLoRA ファインチューニングを試す

「Google Colab」で「RedPajama-INCITE-Base-3B」のLoRA ファインチューニングを試したので、…

npaka
npaka
1年前
13

text-generation-webui で RWKV を試す

「text-generation-webui」で「RWKV」を試してみたので、まとめました。 【最新版の情報は以…

npaka
npaka
1年前
39

Google Colab で MPT-7B を試す

「Google Colab」で「MPT-7B」を試したので、まとめました。 1. MPT-7B「MPT-7B」は、「Mosai…

npaka
npaka
1年前
56

Google Colab で RedPajama-INCITE を試す

「Google Colab」で「RedPajama-INCITE」を試したので、まとめました。 1. RedPajama-INCITE…

npaka
npaka
1年前
20

RedPajama-INCITE - オープンで商用可能なLLM

以下の記事が面白かったので、簡単にまとめました。 1. RedPajama-INCITE「RedPajama-INCITE」は、「RedPajamaベースデータセット」で学習した最初のモデルです。LLaMAレシピを可能な限り複製することを目的とした3B・7Bパラメータのベースモデルです。 2. モデル一覧ベースモデルに加えて、完全にオープンソースのInstructionモデルとチャットモデルも提供しています。 2-1. RedPajama-INCITE-Base-3B-

npaka