トランスフォーマーの論文を読む⑩自己 澁谷直樹 2024年4月17日 11:41 前回は、位置エンコーディングについて解説しました。今回は、自己アテンションにフォーカスしながら論文を読み進めていきます。まず、アテンションを使う3つの理由について考察します。さらに、ネットワーク内でどのように情報が流れるかについて、アテンション、回帰、畳み込みに関する計算量を使って比較します。また、アテンションを使うことで得られる解釈性についても触れます。なお、今回はこの論文を読むシリーズの最終回です。 ダウンロード copy ここから先は 13,621字 / 5画像 キカベン・読み放題 ¥1,000 / 月 初月無料 人工知能、機械学習、ディープラーニング関連の用語説明、研究論文の概要、プログラミングの具体例などの読み応えのある新しい記事が月に4−5本ほど追加されます。また、気になるAIニュースや日常の雑観などは随時公開しています。 メンバー限定の会員証が発行されます 活動期間に応じたバッジを表示 メンバー限定掲示板を閲覧できます メンバー特典記事を閲覧できます メンバー特典マガジンを閲覧できます このメンバーシップの詳細 ログイン #自己アテンション この記事が気に入ったらサポートをしてみませんか? 記事をサポート