マガジンのカバー画像

ローカルLLM関連記事

36
本
運営しているクリエイター
genkAIjokyo|ChatGPT/Claudeで論文作成と科研費申請

#alpaca

0xpanda alpha lab

0xpanda alpha lab

GPT/LLMモデルの進化！追加の知識を組み込む最新テクニック

GPT/LLMモデルの進化！追加の知識を組み込む最新テクニック

OpenAIの範囲外の話題でも、オープンソースコミュニティの作業を見ることができます。LLMに知識を追加するには、fine-tuningを使用することができます。OpenAIはfine-tune APIを提供していますが、LLM関連のオープンソースコミュニティの作業に少し調査レポートしました。関連情報を共有します。

fine-tuning以外のオプションStanfordのLLaMAに基づくAlp

もっとみる
npaka

npaka

Alpacaデータセットによる RWKV のファインチューニングを試す

Alpacaデータセットによる RWKV のファインチューニングを試す

「Google Colab」で「Alpacaデータセット」による「RWKV」のファインチューニングを試したのでまとめました。

前回1. alpaca_ja今回は、Alpacaデータセットの日本語版「alpaca_ja」を使います。

2. ChatRWKVのプロンプトの確認「ChatRWKV」で、モデルに入力されるプロンプトを確認します。
以下のように、print()を追加しました。

prin

もっとみる
npaka

npaka

大規模言語モデルの学習コードまとめ

大規模言語モデルの学習コードまとめ

大規模言語モデルの学習コードをまとめました。

1. Alpacaの学習コード「LLaMA 」を標準の「HuggingFace Transformers」の学習コードをでファインチューニングを行います。

「Transformers」はまだ「LLaMA」を公式サポートしてないため、特定のフォーク(68d640f7c368bcaaaecfc678f11908ebbd3d6176)を使用します。

以

もっとみる
npaka

npaka

LLM のデータセットまとめ

LLM のデータセットまとめ

LLMのデータセットをまとめました。

1. 事前学習データセット1-1. Text

1-2. Code

2. SFTデータセット2-1. Instruction

・tokyotech-llm/Swallow-Instruct-v0.1 (ja)
　・tokyotech-llm/Swallow-Instruc

shi3z

shi3z

フリーの13Bモデル Cerebras-GPT-13BとGPT4-x-Alpacaをローカルで試す

四月に入って、エイプリルフールのネタをHuggingFaceでやるという不届き者も現れたが、いくつか本物のニュースが混じっているから気が抜けない。

Cerebras-GPTは、完全にフリーのGPTモデルを標榜している。
ドスパラ製Memeplexマシン(A6000x2,256GBRAM,20TBHDD)で実際にこの大規模言語モデルをダウンロードして試してみた。

まずは1.3Bモデル

>>>

もっとみる
npaka

npaka

Alpaca-LoRA まとめ

Alpaca-LoRA まとめ

「Alpaca-LoRA」について軽くまとめました。

1. Alpaca-LoRA「Alpaca-LoRA」は、「LoRA」を使用して「Alpaca」の結果を再現するためのコードが含まれているリポジトリです。「Raspberry Pi」で実行できる「text-davinci-003」に迫る品質のInstructモデルを提供しており、コードは 13b、30b、65bに簡単に拡張できます。

単一の

もっとみる
masa_kazama

masa_kazama

手元で動く軽量の大規模言語モデルを日本語でファインチューニングしてみました(Alpaca-LoRA)

手元で動く軽量の大規模言語モデルを日本語でファインチューニングしてみました(Alpaca-LoRA)

イントロ最近、ChatGPTやGPT-4などの大規模言語モデル(LLM)が急速に注目を集めています。要約タスクや質疑応答タスクなど様々なタスクで高い性能を発揮しています。これらのモデルはビジネス分野での応用が非常に期待されており、GoogleやMicrosoftが自社サービスとの連携を進めているという報道も相次いでいます。

今回は、手元で動作する軽量な大規模言語モデル「Alpaca-LoRA」を

もっとみる