トランスフォーマーを理解する

本

2017年に、Googleの研究者であるAshish Vaswaniらのチームが発表したトランスフォーマー（Transformer）のアーキテクチャは、近年におけるディープラー…

運営しているクリエイター: 澁谷直樹

トランスフォーマーの自己アテンションの理解⑤エンコーダ・デコーダ

本シリーズの記事リスト第一弾トークン数値化の歴史第二弾回帰による文脈伝搬第三弾レコメンダーと内積第四弾位置エンコーディング第五弾エンコーダ・デコーダ第六弾クエリとキーとバリュー第七弾エンコーダ・ブロックの詳細第八弾デコーダ・ブロックの詳細この記事では、トランスフォーマーで翻訳をする際の枠組みであるエンコーダ・デコーダを解説します。翻訳モデルであるトランスフォーマーの全体像を掴むことで後々に解説するアテンションの詳細を理解する

トランスフォーマーの自己アテンションの理解④位置エンコーディング

本シリーズの記事リスト第一弾トークン数値化の歴史第二弾回帰による文脈伝搬第三弾レコメンダーと内積第四弾位置エンコーディング第五弾エンコーダ・デコーダ第六弾クエリとキーとバリュー第七弾エンコーダ・ブロックの詳細第八弾デコーダ・ブロックの詳細この記事では、本題であるトランスフォーマーの自己アテンションの仕組みに触れ始めます。回帰の構造を使わずにトークンの位置関係を知る手法である位置エンコーディングを解説します。では、さっそく

トランスフォーマーの自己アテンションの理解③レコメンダーと内積

本シリーズの記事リスト第一弾トークン数値化の歴史第二弾回帰による文脈伝搬第三弾レコメンダーと内積第四弾位置エンコーディング第五弾エンコーダ・デコーダ第六弾クエリとキーとバリュー第七弾エンコーダ・ブロックの詳細第八弾デコーダ・ブロックの詳細この記事ではアテンションの計算で使われる内積（Dot Product）についてレコメンダーシステム（Recommender System）を例に解説します。ベクトルを使った内積の計算自体は簡

トランスフォーマーの自己アテンションの理解②回帰による文脈伝搬

本シリーズの記事リスト第一弾トークン数値化の歴史第二弾回帰による文脈伝搬第三弾レコメンダーと内積第四弾位置エンコーディング第五弾エンコーダ・デコーダ第六弾クエリとキーとバリュー第七弾エンコーダ・ブロックの詳細第八弾デコーダ・ブロックの詳細この記事ではあまり数式を使わずに、トランスフォーマー以前の言語モデル、RNN（リカレント・ニューラルネットワーク、回帰型ニューラルネットワーク）を文脈の伝搬の仕組みとして捉え解説します。RN

トランスフォーマーの自己アテンションの理解①トークン数値化の歴史

本シリーズの記事リスト第一弾トークン数値化の歴史第二弾回帰による文脈伝搬第三弾レコメンダーと内積第四弾位置エンコーディング第五弾エンコーダ・デコーダ第六弾クエリとキーとバリュー第七弾エンコーダ・ブロックの詳細第八弾デコーダ・ブロックの詳細 2017年に、Googleの研究者であるAshish Vaswaniらのチームが発表したトランスフォーマー（Transformer）のアーキテクチャは、近年におけるディープラーニングの進展

LSTM（長・短期記憶）の図の意味

突然ですが問題です。以下の図、AとBでLSTM（長・短期記憶）を正しく表しているのはどちらでしょうか。これらの図を解釈するにはあるコツがあります。それが分かれば正解を言い当てるのはそれほど難しくはありません。正解は？