機械学習ライブラリ進捗6 - ソフトマックスクロスエントロピー

このバージョンの時点

nariakiiwatani/MyFirstCNN

ソフトマックス層を実装しようと思っていたが、正準連結関数というものを使えば逆伝播させる誤差までまとめて楽に計算できるようなので（一応手計算で確かめはした）それを利用した。

いい感じに動いているように見えるが、いかんせん確信が持てないのが辛い。

次あたりMNIST食わせてみよう。

そろそろ全体像が把握できてきた気がするので、Tensorfowなりなんなりデファクトなライブラリを触ってみるのも良いかもしれない。

- ハイパーパラメータはみんなどうやって考えてるの？
- ハイパーパラメータの試行錯誤を定量的に行う方法はある？
- ちゃんと学習できてるかどうかって定量的に確認する方法あるのだろうか？
- 畳み込み層にもバイアスっているの？
- 畳み込み演算後にフィルターサイズで割るのと、フィルター更新式も和をとった回数で割るようにしたら結果が良くなったんだけど、何故なのか説明できない。
- 最初に参考にしたビデオ(https://www.youtube.com/watch?v=FmpDIaiMIeA)に倣って畳み込み層で画像サイズを小さくしていたけど、別に必須でないらしい。どっちが良いのかわからないけどArmadilloにはサイズを小さくする畳み込み演算は用意されていないので変更するかな。
- いままで「逆誤差伝搬」と書いてたが誤字だということを知り、「逆誤差伝播」に修正しました。