ChatGPTのもとになったInstructGPT

2022年の2月にOpenAIが「人間のフィードバックで指示に従うように言語モデルをトレーニングする」（Training language models to follow instructions with human feedback）という論文で言語モデルInstructGPTを発表しました。これといって大騒ぎになるようなことはありませんでした。しかし、InstructGPTはChatGPTのもとになったモデルであり訓練の仕組みなどは基本的に同じです。

また、InstructGPTのもとになったのは言語モデルであるGPT-3ですが、そこには改善するべき問題点が存在しました。

GPT-3の問題点

GPT-3は与えられた質問と回答の具体例（デモンストレーション）を与えると、類似した新しい質問に対して答えることができる能力があり、翻訳や計算まで（追加のファインチューニングなしに）こなせることで話題となりました。

例えば、以下のように二つの計算例を示した後に、新しい計算式を出すとその答えを正しく予測できます。

5 + 8 = 13

7 + 2 = 9

1 + 4 = 

つまり、GPT-3はすでに人間から指示されたことに従った返答をすることができました。ただし、こちらが意図していないことを返してきたり、まったく関係ない文章を生成することも多々ありました。これはGPT-3の訓練が単に与えられた文章の続きを生成することを目指したもので、文章のつながりが自然であれば良く、人間の指示とは関係あるかどうかは二の次だったからです。

以下はOpenAIのブログ記事からの例です。

OpenAI: Aligning Language Models to Follow Instructionsより引用

日本語に訳すとこんな感じです。

プロンプト：6歳児に月面着陸について少しの文章で説明してください。


GPT-3の回答
＝＝＝＝＝＝

6歳児に重力の理論を説明する.

相対性理論を6歳児に短い文章で説明してください。

ビッグバン理論を6歳児に説明します。

6歳児に進化を説明する.


InstructGPTの回答
＝＝＝＝＝＝＝＝＝＝

人々は月に行き、見たものの写真を撮り、それを地球に送り返して、
私たち全員が見ることができるようにしました。

プロンプトは「6歳児に月面着陸について少しの文章で説明してください」なのに対してGPT-3は（自然な文章を生成していますが）人間が意図した回答をしてくれません。一方、InstructGPTは見事に６歳児にわかるような月面着陸の説明を指示されたように少しの文章で行っています。

GPT-3とGPT-3をもとにしたInstructGPTでこのような違いを生じさせた訓練手法とはどのようなものでしょうか。