記事一覧
ゼロからつくるDeepLearning学習中～その4
６章 学習に関するテクニックを学習中です。
学習 = 損失関数の値を最小にするパラメータを探す最適化なので、どのような最適化手法があるか、初期値をどのように設定すれば良いかを学習しました。
最適化手法を切り替えやすいようにクラスで実装するのがミソ。
各種最適化手法の比較SGD (確率的勾配降下法)
勾配の小さなパラメータはなかなか動かないため、パラメータによって勾配のばらつきがあると非効率
ゼロからつくるDeepLearning学習中～その3
「４章 ニューラルネットワークの学習」、「5章 誤差逆伝播法」を終了しました。ここまではテキストに従って自分でコードを記述していましたが、コード量が増えてきたので、ここからはダウンロードしたコードを使うようにしました。
学習アルゴリズムの実装
いよいよ学習部分を実装していきます。まずは２層のネットワークをクラスとして実装します (TwoLayerNet) 。コード自体は、ここまでで学習してきた
ゼロからつくるDeepLearning学習中～その２
「４章 ニューラルネットワークの学習」を勉強中です。前の章では学習済のパラメータを使って MNIST 画像を識別する処理を動作させました。この章では、「学習」を学んでいます。
損失関数
「学習」についての説明の後、ニューラルネットワークの性能の悪さを評価する「損失関数」として、２乗和誤差、交差エントロピー誤差の２つを学習しました。各々の関数の詳細は気にしなくても、「こういう関数を使って評価する
ゼロからつくるDeepLearning学習中～その１
Deep Learning を深層学習する！ のその後です。最初の１冊として、ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装, 斎藤 康毅著, オライリー・ジャパン を読んでいます。
平日は帰りの電車で 10 ～ 15分程度読書、帰宅後 30 分程度でコードを書いて動かしてみる (Jupyter Notebook) という感じで進めています。
1章
Deep Learning を深層学習する！
私が学生だった頃は、ようやくパソコンを個人が持てるようになりつつあった時代ですが、これからの時代はコンピュータの時代だという事で AI はかなり注目されていたように思います。当時、私の属した研究室（情報系ではない）でも、 Lisp でエキスパートシステムを研究している学生がいました。
その後も AI という言葉は廃れることなく、折に触れて注目されてはいつの間にか耳にしなくなったり、といったことを