E資格の例題⑨ 画像認識のモデル、ResNet、GoogleNet

問題１

回答１

あ：(a)
い：(b)
う：(a)
Identity mapping：恒等写像（値をそのまま写像）
 → バックプロップ（生の入力値を再利用）で誤差逆伝播する際の勾配消失を防ぐ

問題２

回答２

(a)

(a) Inception moduleは通常のK*Kの畳み込みフィルタと比較すると非零のパラメータが増えているとみなせるため、相対的にdenseな演算であると言える。
　→　非零のパラメータは増えていない（≒スパースな演算）

(b) Inception moduleは大きな畳み込みフィルタを小さな畳み込みフィルタでグループで近似することで、モデルの表現力とパラメータ数のトレードオフを改善していると言える。
(d) Inception moduleは小さなネットワークを1つのモジュールとして定義し、モジュールの積み重ねでネットワークを構築する。
　→　inception module（小さいネットワークを１つのモジュールで定義）
　　の積み重ね、複数のフィルタで畳み込みを行うことにより、伝統的な
　　CNNよりも表現力が改善

(c) Inception moduleには1*1の畳み込みフィルタが使われているが、このフィルタは次元削減と等価な効果がある。
　→　1x1フィルタの畳み込みで、複数チャンネルをまとめる事ができ、次元
　　削減につながり、パラメータ数を減らしながら同様な精度を出せる

問題３

回答３

(a)

(a) Auxiliary Lossを導入する事で、多層なネットワークでも計算量を抑える効果が期待出来る。
　→　Auxiliary classifiersの導入ではなく、1x1のフィルタの畳み込みを行う事で、次元削減を行って、計算量を抑える効果が期待できる。

(b) GoogLeNetの学習ではネットワークの途中から分岐させたサブネットワークにおいてもクラス分類を行っている。
　→　ネットワークの途中から分岐させた部分でクラス分類（Softmax）を行っている

(c) Auxiliary Lossを導入しない場合でも、BatchNormalizationを加えることにより、同様に学習がうまく進む事がある。
　→　BatchNormalizationそのものが勾配消失問題対策の１つ（共変量シフト軽減）であり、学習をうまく進ませる

(d) Auxiliary Lossによってアンサンブル学習と同様の効果が得られるため、汎化性能の向上が期待出来る。
　→　アンサンブル学習とは、複数の学習器に個別に学習させて、それらの
　　予測結果を統合して汎化性能を高める手法であり、GoogLeNetでは、
　　Auxiliary classifiersを導入する事で、複数の学習器としてみなす事が
　　出来て、汎化性能を高める事が期待出来る。