![見出し画像](https://assets.st-note.com/production/uploads/images/146487485/rectangle_large_type_2_0a6eb2521b32e5c39067e8d2fb699ad2.png?width=1200)
GPT-1を読む④事前1
前回は、OpenAIが2018年に発表したGPTの最初のバージョンの論文「Improving Language Understanding by Generative Pre-Training」を読む方針を決めました。
まずは、「3 Framework」(セクション3「フレームワーク」)を重点的に読むことにしました。これによって、GPT-1における「教師なしの事前学習」と「ファインチューニング」などの理解を深めるのが目的です。
今回からの数記事で、このセクションの全体を読み、最終的には、この論文において代表的な以下の図を理解することを目指します。
![](https://assets.st-note.com/img/1716370600020-N7JIjMTsBx.png?width=1200)
今記事では、セクション3「フレームワーク」から読み始めます。最初のサブセクションであるセクション3.1「教師なしの事前学習」で登場する目的関数を中心に解説します。
この記事が気に入ったらサポートをしてみませんか?