1. はじめに2017年に"Attention is All You Need" 論文が発表され、Transformerアーキテクチャが登場。これにより、RNNやCNNに代わる新たな自然言語処理の基本構造が確立さ…
ひらまつたけお
2023年6月8日 23:25
1. はじめに2017年に"Attention is All You Need" 論文が発表され、Transformerアーキテクチャが登場。これにより、RNNやCNNに代わる新たな自然言語処理の基本構造が確立されました。その後、GPT-1、GPT-2、GPT-3と基本言語モデルが強化され続け、強化学習とファインチューニングにより訓練されたInstructGPT、それを会話用に洗練したchatGP