#GoogleColab
GPT-2(124M)をllm.cでGoogle Colab環境で再現チャレンジしてみる
今回は、下記の「GPT2(124M)をllm.cで90分間20ドルで再現してみましょう」という記事を参考に、Google Colabでも再現にチャレンジしました。
上記記事は、12層、12ヘッド、768次元の124Mトランスフォーマーモデルを、FineWebの100億トークンで訓練しています。
今回は、Google Colabで、上記コードを修正してみましたので紹介していきます。
今回のGo
今どきのGoogle Colabの紹介
最近、Google ColabのPro版を再び契約しました。ひと昔前と比べて、Google Colabが進化しているように見えます。TPU v2でメモリが300GB超えで使用できるのは凄い気がします。
過去にGoogle Colabを利用していた人向けに、今のGoogle Colabを紹介していきます。
Google Colabのリソースのタイプ今のGoogle Colabでは5種類のリソー
Google ColabでStreamlitを動かす方法
今回はGoogle ColabでStreamlitをlocaltunnelを使用して動かす方法を紹介していきます。
Google ColabでStreamlitを使用するには、ngrockを利用するしかないかなと思っていましたが、もう少し楽な方法を見つけましたので、自身のメモ用として書いていきます。
!pip install streamlit%%writefile /content/app.
Google ColabのColab AIを使ってみる
Google ColabにColab AIという機能が追加されていましたので、紹介していきます。
10月前半は、Google Colabに触れていなかったので、どんな機能かワクワクしています。
おそらく、Colab Pro以上の有料プラン向けのサービスなのではないかと思います。無料で使えるのかどうかは確認していません。
Google Colabを開くと、右上に下記のようにColab AIと表
グーグルの大規模言語モデルPaLMのGoogle Colabにおける使い方
グーグルのPaLM APIのウェイトリストに登録しており、使えるようになりました。今回は、Google ColabでもPaLMを使うことができるので紹介していきます。Colab MagicというPaLMに対するコマンドが用意されております。
最初に、Google Colabで実行するコードです。AIxxxxxxxxxxxxxxは、PaLM API Keyを取得して記載してください。
%pip