トランスフォーマーを理解する

本

2017年に、Googleの研究者であるAshish Vaswaniらのチームが発表したトランスフォーマー（Transformer）のアーキテクチャは、近年におけるディープラー…

運営しているクリエイター: 澁谷直樹

#LSTM

トランスフォーマーの自己アテンションの理解②回帰による文脈伝搬

本シリーズの記事リスト第一弾トークン数値化の歴史第二弾回帰による文脈伝搬第三弾レコメンダーと内積第四弾位置エンコーディング第五弾エンコーダ・デコーダ第六弾クエリとキーとバリュー第七弾エンコーダ・ブロックの詳細第八弾デコーダ・ブロックの詳細この記事ではあまり数式を使わずに、トランスフォーマー以前の言語モデル、RNN（リカレント・ニューラルネットワーク、回帰型ニューラルネットワーク）を文脈の伝搬の仕組みとして捉え解説します。RN

LSTM（長・短期記憶）の図の意味

突然ですが問題です。以下の図、AとBでLSTM（長・短期記憶）を正しく表しているのはどちらでしょうか。これらの図を解釈するにはあるコツがあります。それが分かれば正解を言い当てるのはそれほど難しくはありません。正解は？