G検定 GPT-Neo

株式会社リュディアです。以前に GPT-3 についてまとめをしましたが、今回は GPT-Neo についてまとめてみます。GPT-3 についてのまとめは以下をご覧ください。

現状、GPT-3 は誰でも自由に利用できるものではありません。また今後のことを考えても Microsoft と独占的ライセンス契約を締結していることが気になります。これに対して、GPT-3 相当のものをオープンソースで作ろうとして公開されているのが GPT-Neo です。

EleutherAI - GPT-Neo

開発は EleutherAI で、EleutherAI の説明として A grassroots collection of researchers working to open source AI research（AI研究のオープンソース化に取り組む草の根の研究者の集まり）と記載されています。

またコーパスとして The Pile も公開しています。835GB のデータサイズです。The Pile の説明は以下のようになされています。

The Pile is a large, diverse, open source language modelling data set that consists of many smaller datasets combined together. The objective is to obtain text from as many modalities as possible to ensure that models trained using The Pile will have much broader generalization abilities.

（訳）たくさんの小規模データセットを組み合わせて構成された大規模、多様なオープンソースの言語モデリングデータセットです。目的は The Pile で訓練されたモデルがより広い汎用的な能力を持つように、できるだけ多くの modalities からテキストを得ることです。

現在、GPT-neo は　Tensorflow-mesh で構築されたコードと Deepspeed で構築されたベースがあるようです。いずれもGPT-3+ のサイズまで拡張可能ですが、規模が大きくなると TPU (Tensorflow Processing Unit) が不足するとのことです。

GPT-Neo は既に安定しており、GPT-Neox が進行中とのことです。

以下の GitHub リポジトリからソースコードを入手可能ですので、興味のある方はごらんください。

EleutherAI/gpt-neo

EleutherAI/gpt-neox

では、ごきげんよう。