論文メモ Transformer : Attention Is All You Need

あまりにも有名なTransformerの論文を主にGPT-4とDeeplを使い要約したものです。（要約や翻訳には誤りがある場合があります。）

Attention Is All You Need

要旨（要約）

　支配的な配列伝達モデルは、エンコーダーとデコーダーを含む複雑なリカレントまたは畳み込みニューラルネットワークに基づいています。しかし、新しいシンプルなネットワーク・アーキテクチャであるTransformerは、注意メカニズムのみに基づいており、再帰と畳み込みを完全に排除しています。
　このTransformerは、学習時間を短縮しながら、品質の高い翻訳を実現することが示されており、WMT 2014英独翻訳タスクでは最良結果を2 BLEU以上上回り、WMT 2014英仏翻訳タスクでは新たな単一モデルの最新BLEUスコアを確立しました。
　Transformerは、他のタスクにもうまく一般化できることが示されています。

論文のポイント

1. 序論と動機

   • 従来のシーケンス変換モデルは、エンコーダとデコーダを含む複雑な構造を持つリカレントニューラルネットワークや畳み込みニューラルネットワークに依存していた。

   • 本稿で提案するTransformerモデルは、リカレントと畳み込みを完全に排除し、注意メカニズムのみに頼ってデータを処理する。

2. モデルのアーキテクチャ

   • Transformerは、モデルがシーケンスの異なる部分に独立して注目することを可能にするマルチヘッド自己注目メカニズムに基づいている。

   • アーキテクチャはエンコーダとデコーダで構成され、それぞれは注意メカニズムを利用する層のスタックとポイント単位の完全連結層で構成される。

3. 主な革新点

   • 自己注意： 自己注意(Self-Attention)：シーケンスの表現を計算するために、1つのシーケンスの異なる位 置を関連付ける注意メカニズム。

   • マルチヘッドアテンション： 異なる位置にある異なる表現部分空間からの情報に共同して注意することを可能にするために、複数の頭部を使用する。

   • 位置エンコーディング： モデルは再帰や畳み込みを使用しないので、位置エンコーディングが追加され、シーケン ス内のトークンの相対的または絶対的な位置に関する情報をモデルに与える。

4. 学習と性能

   • この論文では、トレーニング戦略と設定について詳述し、翻訳タスク（英語からドイツ語、英語からフランス語）において、発表時点の既存モデルと比較して、このモデルが優れたパフォーマンスを示したことを紹介している。

   • これらのタスクにおいて、より少ない学習時間と計算資源で最先端の結果を達成した。

5. 応用と一般化

   • 翻訳だけでなく、Transformerモデルは英語の構文解析のような他のタスクにおいても効果的な汎化を示し、その汎用性を示している。

6. 結論と今後の課題

   • 著者らは、注意ベースのモデルの可能性と、Transformerを（画像や音声のような）他のモダリティを含むタスクに拡張し、大規模な入力と出力の取り扱いを改善するための将来の方向性について議論している。