PyTorch深層学習⑲LSTM:理論編

前回はRNNを使った画像分類の実装を行いました。今回は、LSTM（Long Short-Term Memory、長•短期記憶）の解説を行います。

LSTMは、より基本的なRNNとどう異なるのでしょうか。

本シリーズの記事リスト

---

• ①前提条件

• ②テンソル

• ③テンソル：NumPy編

• ④テンソル：Tensor編

• ⑤データセット編

• ⑥線形回帰：理論編

• ⑦線形回帰：実装編

• ⑧ロジスティック回帰:理論編

• ⑨ロジスティック回帰:実装編

• ⑩ニューラルネットワーク

• ⑪単純な画像分類１

• ⑫単純な画像分類2

• ⑬畳み込み層:理論編

• ⑭畳み込み層:実践編

• ⑮最大値プーリング

• ⑯畳み込みニューラルネットワーク

• ⑰再帰型ニューラルネットワーク

• ⑱再帰型：実装編

• ⑲LSTM:理論編

• ⑳LSTM:実践編

• ㉑トランスフォーマー:紹介編

• ㉒トランスフォーマー:実践編

---

LSTMはRNNの拡張と見ることができます。よって、LSTMも再帰型のニューラルネットワークの一種です。ただし、LSTMは記憶細胞（Memory Cell、メモリーセル、略してセル）を持つことで、RNNにおけるある問題を緩和しています。また、LSTMは、記憶細胞（セル）を生かすために３つの情報ゲートを使っています。

上記の点を一つずつ見ていきます。

では、さっそく始めましょう。