GPT-1を読む③方針

前回までに、OpenAIが2018年に発表したGPTの最初のバージョンの論文「Improving Language Understanding by Generative Pre-Training」の要約と結論を読みました。今回は、論文を構成を掴みながら図や表などに目を通します。まだ、要約や結論を読んでいない方は前回や前々回の記事を参考にしてください。

いつものように今回も、論文のセクションを読む順番は、以前に紹介した論文の読み方に大体従っています。どのセクションに注力して読むのかの方針を決定します。

論文の全体構造

この論文の構造は以下のようなセクションに分かれています。

• 要約（Abstract）

• 導入（Introduction）

• 関連研究（Related Work）

• フレームワーク（Framework）

• 実験（Experiments）

• 分析（Analysis）

• 結論（Conclusion）

論文の読み方で解説したように、よくある論文の構造を持っています。

これまで要約を読んで、論文の主張を理解しました。また、結論から著者は将来の展望を語るほどの自信を持って主張を繰り返しているのがわかります。この論文の本文を読めばさらに彼らの主張を裏付けする詳細がわかるであろうと期待できます。

ここから導入を読み出しても構わないのですが、その前にこの論文を読む意義について考えてみます。