![見出し画像](https://assets.st-note.com/production/uploads/images/133862370/rectangle_large_type_2_cac7fdaed26f53091424681564d97910.png?width=800)
トランスフォーマーの論文を読む⑦前方
前回に引き続き、今回も論文を読みながらトランスフォーマーの仕組みを解説します。特に、位置ごとのフィードフォワード(Position-wise Feed-Forward Network)にフォーカスします。
下図にあるように、位置ごとのフィードフォワードはトランスフォーマーのエンコーダとデコーダの両方で使われています。
![](https://assets.st-note.com/img/1710571277939-FT9tKBd1wV.png?width=800)
エンコーダとデコーダの両方で使われている
アテンションが文章からの文脈を取り入れているとすると、位置ごとのフィードフォワードは何をしているのでしょうか。そもそも「位置ごと」とはどう言う意味でしょうか。
では、論文のセクション3.3「Position-wise Feed-Forward Networks」から読み続けましょう。
この記事が気に入ったらサポートをしてみませんか?