Google Colab で Cerebras-GPT を試す

「Google Colab」で「Cerebras-GPT」を試したので、まとめました。

【注意】「Cerebras-GPT 13B」を動作させるには、「Google Colab Pro/Pro+」のプレミアムが必要です。

1. Cerebras-GPT

「Cerebras-GPT」は、OpenAIのGPT-3をベースにChinchilla方式で学習したモデルになります。学習時間が短く、学習コストが低く、消費電力が少ないのが特徴とのことです。

13B / 6.7B / 2.7B / 1.3B / 590M / 256M / 111M

cerebras/Cerebras-GPT-13B · Hugging Face

2. Colabでの実行

Google Colabでの実行手順は、次のとおりです。

(1) 新規のColabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」の「プレミアム」を選択。

(2) パッケージのインストール。

# パッケージのインストール
!pip install transformers

(3) トークナイザーとモデルの準備。
今回は、一番大きい「13B」を指定しました。

from transformers import AutoTokenizer, AutoModelForCausalLM

# トークナイザーとモデルの準備
tokenizer = AutoTokenizer.from_pretrained("cerebras/Cerebras-GPT-13B")
model = AutoModelForCausalLM.from_pretrained("cerebras/Cerebras-GPT-13B")

(4) パイプラインの準備。

from transformers import pipeline

# パイプラインの準備
pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)

(5) 日本語で質問応答。
日本語はあまりうまく回答できませんでした。処理時間はCPUのみで1推論30〜40秒ほどでした。

# 日本語で質問応答
text="日本で一番人気のアニメは？"
generated_text = pipe(text, max_length=50, do_sample=False, no_repeat_ngram_size=2)[0]
print(generated_text['generated_text'])

日本で一番人気のアニメは？ｔ￰ﾶ﹀︀(※)

そして、おふ�

(6) 英語で質問応答。
英語では自然な回答 (正確性は別として) が返ってきました。

# 英語で質問応答
text="What is the most popular anime in Japan?"
generated_text = pipe(text, max_length=50, do_sample=False, no_repeat_ngram_size=2)[0]
print(generated_text['generated_text'])

The most watched anime is "Gintama" (Gin Tama). It is a comedy anime that is based on the manga of the same name. It was created by the studio "

最も視聴されたアニメは「銀魂」（銀魂）です。 同名漫画が原作のコメディアニメです。 それはスタジオによって作成されました。

BERT/GPT-3/DALL-E 自然言語処理・画像処理・音声処理 人工知能プログラミング実践入門