マガジンのカバー画像

トランスフォーマーを理解する

22
本
2017年に、Googleの研究者であるAshish Vaswaniらのチームが発表したトランスフォーマー （Transformer）のアーキテクチャは、近年におけるディープラー…
運営しているクリエイター
澁谷直樹

#Artificial_Intelligence

トランスフォーマーの自己アテンションの理解⑦エンコーダ・ブロックの詳細

本シリーズの記事リスト 第一弾 トークン数値化の歴史 第二弾 再帰による文脈伝搬 第三弾 レコメンダーと内積 第四弾 位置エンコーディング 第五弾 エンコーダ・デコーダ 第六弾 クエリとキーとバリュー 第七弾 エンコーダ・ブロックの詳細 第八弾 デコーダ・ブロックの詳細 この記事では、エンコーダ・ブロックの詳細を解説します。論文の図１の左側になります。 エンコーダ・ブロックの内部にある、マルチヘッド・アテンション（Multi-head Attention）

澁谷直樹

トランスフォーマーの自己アテンションの理解⑤エンコーダ・デコーダ

本シリーズの記事リスト 第一弾 トークン数値化の歴史 第二弾 再帰による文脈伝搬 第三弾 レコメンダーと内積 第四弾 位置エンコーディング 第五弾 エンコーダ・デコーダ 第六弾 クエリとキーとバリュー 第七弾 エンコーダ・ブロックの詳細 第八弾 デコーダ・ブロックの詳細 この記事では、トランスフォーマーで翻訳をする際の枠組みであるエンコーダ・デコーダを解説します。翻訳モデルであるトランスフォーマーの全体像を掴むことで後々に解説するアテンションの詳細を理解する

澁谷直樹

トランスフォーマーの自己アテンションの理解①トークン数値化の歴史

本シリーズの記事リスト 第一弾 トークン数値化の歴史 第二弾 再帰による文脈伝搬 第三弾 レコメンダーと内積 第四弾 位置エンコーディング 第五弾 エンコーダ・デコーダ 第六弾 クエリとキーとバリュー 第七弾 エンコーダ・ブロックの詳細 第八弾 デコーダ・ブロックの詳細 2017年に、Googleの研究者であるAshish Vaswaniらのチームが発表したトランスフォーマー （Transformer）のアーキテクチャは、近年におけるディープラーニングの進展

澁谷直樹