最近話題になった大規模言語モデルまとめ
最近話題になった大規模言語モデルをまとめました。
1. GPT-4
「GPT-4」は、OpenAIによって開発された大規模言語モデルです。
マルチモーダルで、テキストと画像のプロンプトを受け入れることができるようになりました。最大トークン数が4Kから32kに増えました。推論能力も飛躍的に向上しています。
現在、「ChatGPT Pro」(有料版)で制限付きで利用できる他、ウェイトリストの登録者を対象に「OpenAI API」での利用も開始しています。
2. PaLM
「PaLM」は、Googleよって開発された大規模言語モデルです。
近日中に「PaLM」が利用できる「PaLM API」のウェイトリストを公開予定です。「PaLM API」は、Googleの大規模言語モデルを簡単に利用できるAPIで、コンテンツ生成やチャットに最適化された対話型モデルや、要約や分類などに最適化された汎用モデルにアクセスできます。
3. LLaMA
「LLaMA」は、Metaによって開発された大規模言語モデルです。
「GPT-3」よりもパラメータ数が少なく、単体GPUでも動作可能でありながら、ベンチマークテストの一部では「GPT-3」を上回りました。リクエストフォームから申請して利用許諾を得ることで、利用できるようになります。
4. Alpaca
「Alpaca」は、「LLaMA」をファインチューニングした大規模言語モデルです。「text-davinci-003」による「self-instruct」で生成された52Kの命令追従型の学習データを使って学習しています。「Alpaca」はOpenAIの「text-davinci-003」に似た挙動を示しますが、驚くほど小さく再現が容易で安価であることが特徴になります。
デモ、学習データ、データ生成プロセス、ハイパーパラメータは公開されており、モデルの重みや学習コードも今後公開予定です。
5. Alpaca-LoRA
「LLaMA-7B」をベースに、「Alpaca」の学習データを使ってLoRAによるよるファインチューニングを行い、「Alpaca」に近づけたものになります。
6. Claude
「Claude」は、Anthropicが開発した、ChatGPTに匹敵する大規模言語モデルです。現在、ウェイティングリストを公開中です。
7. ChatGLM
「ChatGLM」は、中国語特化のオープンソースの大規模言語モデルです。ChatGPT と同様の技術を使用して、中文の応答を最適化しています。
気軽にクリエイターの支援と、記事のオススメができます！