トランスフォーマーの論文を読む⑩自己

前回は、位置エンコーディングについて解説しました。今回は、自己アテンションにフォーカスしながら論文を読み進めていきます。

まず、アテンションを使う３つの理由について考察します。さらに、ネットワーク内でどのように情報が流れるかについて、アテンション、回帰、畳み込みに関する計算量を使って比較します。

また、アテンションを使うことで得られる解釈性についても触れます。

なお、今回はこの論文を読むシリーズの最終回です。