RNN と LSTM の解析ノート

RNN の勾配消失を微分形式を使って簡単に解析的に概算し， LSTM や GRU がいかにしてこの問題を解消するかを見る．ついでに residual net も．

RNN の勾配消失を微分形式を使って簡単に解析的に概算し， LSTM や GRU がいかにしてこの問題を解消するかを見る．ついでに residual net も．#数学 #機械学習 #深層学習 #LSTMhttps://t.co/dQcXenixgC

— Yamagata (@YamagataTwit) March 3, 2020