2024年5月の記事一覧
GPT-2(124M)をllm.cでGoogle Colab環境で再現チャレンジしてみる
今回は、下記の「GPT2(124M)をllm.cで90分間20ドルで再現してみましょう」という記事を参考に、Google Colabでも再現にチャレンジしました。
上記記事は、12層、12ヘッド、768次元の124Mトランスフォーマーモデルを、FineWebの100億トークンで訓練しています。
今回は、Google Colabで、上記コードを修正してみましたので紹介していきます。
今回のGo
Google AI StudioでLLM比較
Google AI Sutdioの紹介以前、Google AI Studioの記事を書いた時から使用可能なLLMの性能が上がりましたので今回試してみます。Google AI Studioとは何ぞやという人は以前の記事ですが参考になるかと思います。
この時から少しインタフェースが変わっているようですが、大まかなところは変わっていないのではないかと思います。
Google AI StudioでL