トランスフォーマーの論文を読む⑧埋込 澁谷直樹 2024年3月28日 22:07 前回に引き続き、論文を読み進めていきます。今回は、埋め込みにフォーカスします。埋め込みに関しては、エンコーダ・ブロックやデコーダ・ブロックの外側の話になります。下図の上部の「線形層」、「ソフトマックス」と書かれている部分や、下部の「入力文章の埋め込み」、「出力文章の埋め込み」と書かれている部分です。では、論文のセクション3.4「Embeddings and Softmax」(埋め込みとソフトマックス)を読んでいきましょう。 ダウンロード copy ここから先は 6,320字 / 3画像 キカベン・読み放題 ¥1,000 / 月 初月無料 人工知能、機械学習、ディープラーニング、量子コンピュータ関連の用語の解説、研究論文の概要、プログラミングの具体例などの読み応えのある新しい記事が月に4−5本ほど追加されます。また、気になるAIニュースや日常の雑観などは随時公開しています。 メンバー限定の会員証が発行されます 活動期間に応じたバッジを表示 メンバー限定掲示板を閲覧できます メンバー特典記事を閲覧できます メンバー特典マガジンを閲覧できます このメンバーシップの詳細 ログイン #トークン #トランスフォーマー #埋め込み #エンコーダ #ソフトマックス #デコーダ #埋め込みベクトル この記事が気に入ったらサポートをしてみませんか? サポート