GPT1を読む④事前１

前回は、OpenAIが2018年に発表したGPTの最初のバージョンの論文「Improving Language Understanding by Generative Pre-Training」を読む方針を決めました。

まずは、「３ Framework」（セクション３「フレームワーク」）を重点的に読むことにしました。これによって、GPT1における「教師なしの事前学習」と「ファインチューニング」などの理解を深めるのが目的です。

今回からの数記事で、このセクションの全体を読み、最終的には、この論文において代表的な以下の図を理解することを目指します。

論文図１

今記事では、セクション３「フレームワーク」から読み始めます。最初のサブセクションであるセクション３.１「教師なしの事前学習」で登場する目的関数を中心に解説します。