#LLM
GPT-2(124M)をllm.cでGoogle Colab環境で再現チャレンジしてみる
今回は、下記の「GPT2(124M)をllm.cで90分間20ドルで再現してみましょう」という記事を参考に、Google Colabでも再現にチャレンジしました。
上記記事は、12層、12ヘッド、768次元の124Mトランスフォーマーモデルを、FineWebの100億トークンで訓練しています。
今回は、Google Colabで、上記コードを修正してみましたので紹介していきます。
今回のGo
Google AI StudioでLLM比較
Google AI Sutdioの紹介以前、Google AI Studioの記事を書いた時から使用可能なLLMの性能が上がりましたので今回試してみます。Google AI Studioとは何ぞやという人は以前の記事ですが参考になるかと思います。
この時から少しインタフェースが変わっているようですが、大まかなところは変わっていないのではないかと思います。
Google AI StudioでL
誰でも使えるGoogle AI Studioの使い方
Google AI Studioは、Googleの大規模言語モデルのGoogle Geminiを使って、ChatGPTのように会話が出来たり、画像に対する会話もできたりするAI環境です。
Google AI Studioの開き方は、https://www.google.co.jp/でGoogleを開きます。
次に、右上のところから、Google Driveを開きます。
次に、Google D
Google Geminiの論文を眺めてみる
Google Geminiに関する論文を見つけましたので眺めていきます。自身用メモとなります。
https://arxiv.org/pdf/2312.11805.pdf
Google DeepMindが主となっているようです。著者が多いことでも話題になっていますが、ざっと見る限り日本人ぽい名前は1人だけいるようにみえます。
論文の構成としては、次のようになっています。
Introducti
Google Gemini Pro VisionのAPIをStreamlitでウェブアプリ構築方法
Google Gemini Pro Visionという画像に対して操作が可能なAPIがあります。
今回、Google Gemini Pro VisionのAPIを利用して、Streamlitでウェブアプリを構築方法を紹介していきます。
まずは、app.pyとして以下を用意します。
import streamlit as stimport google.generativeai as gena
GoogleのLLMのGoogle Geminiの使い方
Google GeminiがBardで使えるようになったということですので、早速使ってみます。
まずは、Googleアカウントの言語設定を英語にする必要がありますので、下記のアカウントにアクセスします。
https://myaccount.google.com/
次に、左ペインのPersonal Infoを選択し、General preferences for the webのLanguag
グーグルの大規模言語モデルPaLMのGoogle Colabにおける使い方
グーグルのPaLM APIのウェイトリストに登録しており、使えるようになりました。今回は、Google ColabでもPaLMを使うことができるので紹介していきます。Colab MagicというPaLMに対するコマンドが用意されております。
最初に、Google Colabで実行するコードです。AIxxxxxxxxxxxxxxは、PaLM API Keyを取得して記載してください。
%pip
