見出し画像

トランスフォーマーの論文を読む⑨位置

前回は、埋め込みについて解説しました。今回は、位置エンコーディングにフォーカスしながら論文を読み進めていきます。

位置エンコーディングは、前回解説した埋め込みの直後に行われる処理です。

ここでいう位置とは、入力シーケンスの要素(トークン)間の順序情報を意味します。トランスフォーマーモデルでは位置エンコーディングを通じて明示的に位置情報というデータをモデルに提供する必要があります。

しかし、その理由は何でしょうか。

また、位置エンコーディングはどのようにして行われるのか、今回も論文を読み進めながら解説していきます。


ここから先は

9,844字 / 3画像

キカベン・読み放題

¥1,000 / 月
初月無料
このメンバーシップの詳細

この記事が気に入ったらサポートをしてみませんか?