#AI
ゼロからつくるDeepLearning学習中～その4
６章 学習に関するテクニックを学習中です。
学習 = 損失関数の値を最小にするパラメータを探す最適化なので、どのような最適化手法があるか、初期値をどのように設定すれば良いかを学習しました。
最適化手法を切り替えやすいようにクラスで実装するのがミソ。
各種最適化手法の比較SGD (確率的勾配降下法)
勾配の小さなパラメータはなかなか動かないため、パラメータによって勾配のばらつきがあると非効率
Deep Learning を深層学習する！
私が学生だった頃は、ようやくパソコンを個人が持てるようになりつつあった時代ですが、これからの時代はコンピュータの時代だという事で AI はかなり注目されていたように思います。当時、私の属した研究室（情報系ではない）でも、 Lisp でエキスパートシステムを研究している学生がいました。
その後も AI という言葉は廃れることなく、折に触れて注目されてはいつの間にか耳にしなくなったり、といったことを