ChatGPT - 対話のための言語モデルの最適化

2022年12月1日 21:37

「ChatGPT」についてかるくまとめました。

1. ChatGPT

「ChatGPT」は、会話形式で対話する言語モデルです。フォローアップの質問に答えたり、自分の間違いを認めたり、間違った前提に挑戦したり、不適切な要求を拒否したりすることができます。「InstructGPT」の兄弟モデルで、プロンプトの指示に従い、詳細な応答を行うように学習しています。

2. ChatGPTの利用

現在、リサーチプレビュー期間中のため、以下のサイトで無料で利用できます。テキストフィールドにメッセージを入力するだけです。

3. ChatGPTの学習方法

「ChatGPT」は、2022年初頭に学習を終えた「GPT-3.5」シリーズのモデルをベースにファインチューニングしています。「InstructGPT」と同じ手法で，人間のフィードバックからの強化学習（RLHF）で学習していますが、データ収集手順に違いがあります。

(1) 人間がユーザーとAIアシスタントの両方を演じた「デモデータ」を作成し、そのデータを使って「モデル」を教師あり学習。
(2) 「モデル」のレスポンスを人間がランク付けした「比較データ」を作成し、そのデータを使って「報酬モデル」を学習。
(3) 「報酬モデル」を使用して強化学習 (PPO) で「モデル」を最適化。

このプロセスを数回繰り返しています。

3. 制限事項

現在、次のような制限事項があります。

・もっともらしそうに見えつつ不正確または無意味な答えを返すことがあります。この問題の解決は、次のような原因で困難です。

(1) 強化学習では、現在、真実のソースがない。
(2) より慎重になるようモデルを学習すると、正しく答えられる質問を拒否してしまう。
(3) 理想的な答えは、人間のデモではなく、モデルが知っていることに依存するため、教師あり学習はモデルを誤解させる。

・入力フレーズのちょっとした違いや、同じ質問を何度も試みることに対して敏感です。例えば、ある質問に対して「わからない」と言いながら、少し言い換えると、正しく答えることがあります。

・しばしば過度に冗長に特定のフレーズを繰り返すことがあります。この問題は、学習データの偏りと、過剰最適化の問題から発生します。

・理想では、ユーザーが曖昧な質問を行ったときに、モデルが質問内容を明確する質問を返したいところですが、現在は、ユーザーが何を意図しているのかを推測するのが一般的になります。

・不適切なリクエストを拒否するように工夫していますが、有害な指示に対して反応したり、偏った挙動を示すことがあります。現在、「Moderation API」を使用して、特定の種類の危険なコンテンツを警告またはブロックしていますが、当面は誤検出や誤認識が発生することが予想されます。