GPT1を読む①要約

今回からは、OpenAIが2018年に発表した論文「Improving Language Understanding by Generative Pre-Training」を読んでいきます。これは、GPTの最初のバージョンの論文です。

著者の中に、Sam Altmanを解任劇の主要人物であるIlya Sutskeverの名もあります。ちなみに、彼は AlexNet の論文の著者の一人でもあります。

なお、トランスフォーマーに関する知識を必要とするので、こちらも参考にしてください。

また、論文の読み進め方は、こちらの記事に従っています。

では、さっそく要約から読み進めましょう。