いまさら聞けないGPTを学べる動画

今の生成AIの大半はGoogle研究者が発表したTransoformerから成り立っています。2017年の話です。

そこからGPTを開発し、UIをうまくかぶせてブレークしたのがChatGPTです。
このTはTransoformerを意味します。

Transformer自体も深層学習の応用なので結構込み入ってますが、GPTを直感的に学べる動画があるので1つ紹介します。

一応、上記動画をChatGPTで要約したものも載せておきます。

- GPTは生成事前訓練トランスフォーマーの略で、新しいテキストを生成するボットである。
- 事前訓練は、モデルが大量のデータを元に学習したことを意味し、追加のトレーニングによってファインチューニングが可能である。
- トランスフォーマーは、特定の種類のニューラルネットワーク機械学習モデルであり、AIの発展に大きな影響を与えている。
- トランスフォーマーを使って作成できるモデルには、音声から台本を書くものや、テキストから合成音声を作成するものなどがある。
- トランスフォーマーの基本的な仕組みは、トークンと呼ばれる部分に入力が分割され、それぞれのトークンはベクトルに変換され、アテンションブロックや多層パーセプトロンブロックを経て、次のトークンを予測する確率分布が生成される。

by ChatGPT

一部専門用語がありますが、あまり気にしなくてもいいです。

原理を知ってもユーザ視点ではあまり関係がないかもしれませんが、全くのブラックボックスだと過渡に不安を持つリスクもあるので、今回の動画が丁度いい塩梅だと思います。

ぜひたまには原理も振り返ってみてください。