第25話 バックプロパゲーションの理解に必要な知識 -最適化アルゴリズム-
今回はニューラルネットワークの学習アルゴリズム"バックプロパゲーション"に必要な5つの知識のうち、4つ目の最適化アルゴリズムについて学習します。
<バックプロパゲーションの理解に必要な5要素>
・訓練データとテストデータ
・損失関数
・勾配降下法
・最適化アルゴリズム ←イマココ
・バッチサイズ
今回の具体的な内容は次のとおりです。
1. 最適化アルゴリズムの概要
2. 確率的勾配降下法(SGD)
3. Momentum
4. AdaGrad
5. RMSProp
そ
