#IT
GPT-2(124M)をllm.cでGoogle Colab環境で再現チャレンジしてみる
今回は、下記の「GPT2(124M)をllm.cで90分間20ドルで再現してみましょう」という記事を参考に、Google Colabでも再現にチャレンジしました。
上記記事は、12層、12ヘッド、768次元の124Mトランスフォーマーモデルを、FineWebの100億トークンで訓練しています。
今回は、Google Colabで、上記コードを修正してみましたので紹介していきます。
今回のGo
Google ColabのColab AIを使ってみる
Google ColabにColab AIという機能が追加されていましたので、紹介していきます。
10月前半は、Google Colabに触れていなかったので、どんな機能かワクワクしています。
おそらく、Colab Pro以上の有料プラン向けのサービスなのではないかと思います。無料で使えるのかどうかは確認していません。
Google Colabを開くと、右上に下記のようにColab AIと表
グーグルの大規模言語モデルPaLMのGoogle Colabにおける使い方
グーグルのPaLM APIのウェイトリストに登録しており、使えるようになりました。今回は、Google ColabでもPaLMを使うことができるので紹介していきます。Colab MagicというPaLMに対するコマンドが用意されております。
最初に、Google Colabで実行するコードです。AIxxxxxxxxxxxxxxは、PaLM API Keyを取得して記載してください。
%pip