#G検定
ゼロからつくるDeepLearning学習中～その4
６章 学習に関するテクニックを学習中です。
学習 = 損失関数の値を最小にするパラメータを探す最適化なので、どのような最適化手法があるか、初期値をどのように設定すれば良いかを学習しました。
最適化手法を切り替えやすいようにクラスで実装するのがミソ。
各種最適化手法の比較SGD (確率的勾配降下法)
勾配の小さなパラメータはなかなか動かないため、パラメータによって勾配のばらつきがあると非効率
ゼロからつくるDeepLearning学習中～その3
「４章 ニューラルネットワークの学習」、「5章 誤差逆伝播法」を終了しました。ここまではテキストに従って自分でコードを記述していましたが、コード量が増えてきたので、ここからはダウンロードしたコードを使うようにしました。
学習アルゴリズムの実装
いよいよ学習部分を実装していきます。まずは２層のネットワークをクラスとして実装します (TwoLayerNet) 。コード自体は、ここまでで学習してきた