2018年7月の記事一覧
ゼロからつくるDeepLearning学習中～その4
６章 学習に関するテクニックを学習中です。
学習 = 損失関数の値を最小にするパラメータを探す最適化なので、どのような最適化手法があるか、初期値をどのように設定すれば良いかを学習しました。
最適化手法を切り替えやすいようにクラスで実装するのがミソ。
各種最適化手法の比較SGD (確率的勾配降下法)
勾配の小さなパラメータはなかなか動かないため、パラメータによって勾配のばらつきがあると非効率
ゼロからつくるDeepLearning学習中～その3
「４章 ニューラルネットワークの学習」、「5章 誤差逆伝播法」を終了しました。ここまではテキストに従って自分でコードを記述していましたが、コード量が増えてきたので、ここからはダウンロードしたコードを使うようにしました。
学習アルゴリズムの実装
いよいよ学習部分を実装していきます。まずは２層のネットワークをクラスとして実装します (TwoLayerNet) 。コード自体は、ここまでで学習してきた
ゼロからつくるDeepLearning学習中～その２
「４章 ニューラルネットワークの学習」を勉強中です。前の章では学習済のパラメータを使って MNIST 画像を識別する処理を動作させました。この章では、「学習」を学んでいます。
損失関数
「学習」についての説明の後、ニューラルネットワークの性能の悪さを評価する「損失関数」として、２乗和誤差、交差エントロピー誤差の２つを学習しました。各々の関数の詳細は気にしなくても、「こういう関数を使って評価する