最新（？）のCNN

・AlexNet：実質上二つのCNNの合体である。

過学習を防ぐ施策：サイズ4096の全結合層の出力にドロップアウトを使用している。

・ZFNet：

・GoogLeNet：Inceptionモジュール、Global Average Poolingを導入

・VGGNet：シンプルで強力

・ResNet：いままで十数層の構造が限界だったが、resnetは1000層構造でも学習できることが新な時代を作った。以下は５０層の場合

・EfficientNet：ResNetの基本構造を最適化することで、同等性能で小さい計算量で済むネットワーク。

考察

・画像認識においてCNNはほぼ不可欠な存在になった。特にVGGやResnetはいまでも多くのネットワークに組み込まれている。CNN自体は複雑になっていくが、基本モジュールが変わらないことが多い。そして高精度化よりも高効率化をメインに研究されることが多い。なぜならresnetの1000層構造がすでに人を超える精度を達成した。しかし計算量が膨大でなかなか一般的に使用するのは難しい。