![見出し画像](https://assets.st-note.com/production/uploads/images/96995743/rectangle_large_type_2_bc14748c3f0b106c7eaea7fa6a1b449d.png?width=800)
トランスフォーマーの自己アテンションの理解⑦エンコーダ・ブロックの詳細
本シリーズの記事リスト
第一弾 トークン数値化の歴史
第二弾 回帰による文脈伝搬
第三弾 レコメンダーと内積
第四弾 位置エンコーディング
第五弾 エンコーダ・デコーダ
第六弾 クエリとキーとバリュー
第七弾 エンコーダ・ブロックの詳細
第八弾 デコーダ・ブロックの詳細
この記事では、エンコーダ・ブロックの詳細を解説します。論文の図1の左側になります。
![](https://assets.st-note.com/img/1672834437966-OgwCFK0o59.png?width=800)
エンコーダ・ブロックの内部にある、マルチヘッド・アテンション(Multi-head Attention)、位置ごとのフィード・フォワード(Position-wise Feed-Forward)、残差接続(Residual Connection)、レイヤー正規化(Layer Normalization)などを解説します。
では、さっそく始めましょう。
エンコーダ・ブロック
オリジナルのトランスフォーマーのエンコーダは6つのエンコーダ・ブロックが階層をなしています。上図では、Nxと書かれていますが、これは「N階の層になっている」の意味です。6つの層を展開するなら以下のようになります。
![](https://assets.st-note.com/img/1673221522360-INZ25hxmFR.png)
上手では、「エンコーダ・ブロック」を単に「エンコーダ」としています。これは図を複雑にしないためでもありますが、同じ仕組みを積み上げただけなので「エンコーダ」と省略して呼んでも間違いではないからです。
以下は、エンコーダの図を日本語にしたものです。
この記事が気に入ったらサポートをしてみませんか?