GPT-1を読む⑧実験分析

前回までに、OpenAIが2018年に発表したGPTの最初のバージョンの論文「Improving Language Understanding by Generative Pre-Training」のセクション３.３「タスク特有の入力変換」（Task-specific input transformations）を読み終えました。

これで方針としていた「教師なしの事前学習」と「ファインチューニング」などの仕組みを理解するという目的は達成しました。

今回は実験の結果とその分析を通してGPT-1が当時どのくらいの成果を上げたのかを確認します。一字一句読む必要はないので、目立った結果をピックアップして意訳したものを紹介します。

また、結果を踏まえたモデルの性能に関する幾つかの分析はとても興味深いです。特にアブレーション研究は示唆に富んでいます。

なお、「GPT-1を読む」シリーズは今回で終了し、次回からは「GPT-2を読む」シリーズが始まります。