Huggingface Transformers 入門 (22) - GPT-Neo 1.3B

2021年4月2日 08:48

以下の記事を参考にして書いてます。

前回

1. モデル説明

「GPT-Neo 1.3B」は、EleutherAIが「GPT-3」アーキテクチャを再現して設計したTransformerモデルです。「GPT-Neo」はモデルのクラスを表し、「1.3B」はこの事前学習済みモデルのパラメータ数を表しています。

【参考】 OpenAIのGPT-3は「175B」。

2. 学習データ

「GPT-Neo 1.3B」は、このモデルを学習する目的でEleutherAIによって作成された大規模にキュレーションされたデータセットである「Pile」で学習しました。

3. 学習手順

このモデルは、「Pile」で40万ステップの学習を行いました。クロスエントロピー損失を用いて、自己回帰型言語モデルとして学習されました。

4. 使用目的

モデルは英語の内部表現を学習し、それを元に下流のタスクに役立つ特徴を抽出することができます。このモデルが最も得意とするのは、プロンプトからテキストを生成するという事前学習したことです。

5. 使用方法

このモデルは、テキスト生成用のパイプラインで直接使用できます。このサンプルでは、実行するたびに異なるテキストを生成します。

from transformers import pipeline
generator = pipeline('text-generation', model='EleutherAI/gpt-neo-1.3B')
generator("EleutherAI has", do_sample=True, min_length=50)

[{'generated_text': 'EleutherAI has made a commitment to create new software packages for each of its major clients and has'}]

6. 制限事項とバイアス

「GPT-Neo」は、自己回帰型言語モデルとして学習しました。つまり、文字列を受け取り、次のトークンを予測することが、このモデルの主な機能になります。言語モデルはこれ以外のタスクにも広く使われていますが、この作業には未知の部分が多くあります。

「GPT-Neo」は、下品な言葉を含むことで知られるデータセット「Pile」で学習しました。ユーザーの使用目的によっては、「GPT-Neo」は社会的に受け入れられないテキストを生成する可能性があります。「Pile」におけるバイアスの詳細な分析については、「Pile」の論文のセクション5および6を参照してください。

他の言語モデルと同様に、「GPT-Neo」が特定のプロンプトにどのように反応するかを事前に予測することは難しく、攻撃的なコンテンツが警告なしに発生する可能性があります。好ましくないコンテンツを検閲するためにも、結果の質を向上させるためにも、出力を公開する前に人間がキュレーションやフィルタリングを行うことをお勧めします。

7. 評価結果

EleutherAIは現在、「GPT-Neo」のさらなる評価を実施中です。次の表は、進行中の作業とみなす必要があります。

次回

この記事が気に入ったらサポートをしてみませんか？