マガジンのカバー画像

大規模言語モデル（LLM）

37
本
運営しているクリエイター
はまち

#ファインチューニング

airoboros: GPT-4で作成した学習データで微調整した大規模言語モデル(ほぼgpt-3.5-turbo)

Self-Instructの手法でGPT-4を使用して生成された学習データを使って、ファインチューニングされたLlaMA-13b/7bモデルが公表されていました。 モデルの概要Self-Instructの手法でgpt-4、またはgpt-3.5-turboを用いて、人間が生成したシードを含まず学習データセットを作成(OpenAIライセンスの対象） airoboros-gpt4 airoboros-gpt3.5-turbo gpt-4で作成されたトレーニングデータで、Ll

はまち

rinna社からLangChainのAgent動作に特化したvicuna-13bモデル

rinna社から、先日の日本語特化のGPT言語モデルの公開に引き続き、今度はLangChainをサポートするvicuna-13bモデルが公開されました。 日本語がとても流暢な、rinna/japanese-gpt-neox-3.6b-instruction-ppo と、論理的な推論に強いモデルを組み合わせることを提案してくれているのだと思います。痒い所に手が届くというか…。流石です。 というわけで、早速ためしてみます！😊 １．モデルの概要vicuna-13b-delta

はまち

LLMでもLoRA。算術強化Goat-lora-7bを試す

画像生成AIのStable Diffusionでは、LoRA（Low-Rank Adaptation）という少ない計算量でファインチューニングする手法が広まっているようです。 LLMをお手軽に試せるアプリ「Text generation web UI」にも、LoRA(s)という設定項目があり気になっていたところ、ちょうどLoRAを適用したモデル関する記事が目にとまったので、試してみることにしました。 Goatなんでも、LLaMAを微調整したGoatは、算術タスクでGPT-

はまち