双方向RNN

・双方向RNN:過去の情報だけ(RNN)でなく、未来の情報を加味することで、精度を向上させるためのモデルである。

画像1

考え方としてRNNをもう一つ逆方につけるのが双方向ということである。系列の最初のステップs1->snから繰り返して順方向に予想することに加えて,系列の最後のステップsnからの逆方向の予測も行えるモデルである。

考察

・双方向RNNは結局通常のRNNに逆方向推論のRNNをつけることで双方向を実現している。例えば機械翻訳では通常のRNNでは順方向に予測するが、双方向RNNでは一つ先の単語情報も入力として分析できる。

この記事が気に入ったらサポートをしてみませんか?