見出し画像

GPT-1を読む⑥微調整

前回までに、OpenAIが2018年に発表したGPTの最初のバージョンの論文「Improving Language Understanding by Generative Pre-Training」のセクション3.1「教師なし事前学習」(Unsupervised pre-training)を読み終えました。

これでGPT-1における事前学習の数学的な枠組みが理解できました。

よって、今回はセクション3.2「教師ありファインチューニング」(Supervised fine-tuning)を読み進めていきます。ここでは、事前学習されたモデルを特定のタスクへと微調整するための目的関数を数学的に説明しています。

また、これまでに登場した「教師なし学習、教師あり学習、自己教師あり学習」といった用語に加えて「半教師あり学習」が登場します。


ここから先は

6,482字 / 1画像

キカベン・読み放題

¥1,000 / 月
初月無料
このメンバーシップの詳細

この記事が気に入ったらサポートをしてみませんか?