見出し画像

GPT1を読む⑦入力変換

前回までに、OpenAIが2018年に発表したGPTの最初のバージョンの論文「Improving Language Understanding by Generative Pre-Training」のセクション3.2「教師ありファインチューニング」(Supervised fine-tuning)を読み終えました。

これによって、事前学習されたモデルを特定のタスクへと微調整するための目的関数を数学的に理解しました。

よって、これまでに、事前学習とファインチューニングの枠組みがわかったのですが、より具体的な言語タスクに対するイメージは、まだいてきません。

例えば、2つの入力文があるようなタスクに対してどのように対応できるのでしょうか。

そこで、今回はセクション3.3「タスク特有の入力変換」(Task-specific input transformations)を読み進めていきます。事前学習されたモデルを微調整するためのタスク特有の入力の仕方について解説しています。

下図の右側が今回フォーカスされる部分となります。

論文図1

今回のセクションでは、モデル自体を大幅に変更することなく、特有の言語タスクに対応できることが理解できます。


ここから先は

9,842字 / 5画像

キカベン・読み放題

¥1,000 / 月
初月無料
このメンバーシップの詳細

この記事が気に入ったらサポートをしてみませんか?