トランスフォーマーの自己アテンションの理解②回帰による文脈伝搬
本シリーズの記事リスト
第一弾 トークン数値化の歴史
第二弾 回帰による文脈伝搬
第三弾 レコメンダーと内積
第四弾 位置エンコーディング
第五弾 エンコーダ・デコーダ
第六弾 クエリとキーとバリュー
第七弾 エンコーダ・ブロックの詳細
第八弾 デコーダ・ブロックの詳細
この記事ではあまり数式を使わずに、トランスフォーマー以前の言語モデル、RNN(リカレント・ニューラルネットワーク、回帰型ニューラルネットワーク)を文脈の伝搬の仕組みとして捉え解説します。RN