機械学習ライブラリ進捗7 - MNIST手書きデータで学習

このバージョンの時点

nariakiiwatani/MyFirstCNN

MNIST手書き数字データで学習及び成果テストをした。
結果はだいたい80〜90%正解。
（記事公開時は70〜80%と記載してましたが、いろいろ修正調整して90%まできた）
機械学習モデルとしてはダメダメだけど、根本的にやってることが間違ってるってことはなさそうでちょっとホッとした。

自分でいろいろ調整しつつ、

学習データもテストデータも毎回全部通すと時間かかるからランダムに選びとってやるかとか

追加で学習する度に学習率変えたいなとか

結構計算時間かかるからプーリング入れようかなとか

隠れ層のノード数はなるほど表現力なんだなとか

自分で作ってるからなのかどうかわからないけど、文献を読むとさらっと当たり前のように書かれていることの理由がいくつかわかってよかった。

さて次は良いモデルの作り方の勉強かな・・・？

- ハイパーパラメータはみんなどうやって考えてるの？
- ハイパーパラメータの試行錯誤を定量的に行う方法はある？
- ちゃんと学習できてるかどうかって定量的に確認する方法あるのだろうか？
- 畳み込み層にもバイアスっているの？
- 畳み込み演算後にフィルターサイズで割るのと、フィルター更新式も和をとった回数で割るようにしたら結果が良くなったんだけど、何故なのか説明できない。
- 最初に参考にしたビデオ(https://www.youtube.com/watch?v=FmpDIaiMIeA)に倣って畳み込み層で画像サイズを小さくしていたけど、別に必須でないらしい。どっちが良いのかわからないけどArmadilloにはサイズを小さくする畳み込み演算は用意されていないので変更するかな。