LLMを自作してみた

Google Colabで実行できるLLMを作ってみました（筆者はGoogle Colab Pro+を使用）。

こちらの動画のコードを参考にしました。元のコードは文字列から次の文字を生成するというものでしたので、単語の並びから単語を予測するように修正しています。

また、Google Colabで使えるようにして、GPUにも対応させました。Claude先生に聞きながら完成させたのがこちらです↓

データセットは元のコードにあるシェークスピアにリンクさせていますが、データセットを変えることで色々なモデルが出来ると思います。

コードは.pyにしたけど、.ipynbのままで良かったのかもしれない。