[備忘録] E資格対策 補講動画 (2/4): 自走できるAI人材になるための6ヶ月長期コース

Bull

今回は「キカガクさんの半年にわたる講義の備忘録」ではなく、受講する特典の「E資格対策用の補講動画」の備忘録 2記事目です。

1記事目はこちら。

備忘録

セクション9: 深層学習〜誤差逆伝播法・過学習対策〜 (1h 08m)

・最急降下法の復習

・誤差逆伝播法
　中間層　ReLU関数、シグモイド関数
　出力層　Softmax関数
　誤差逆伝播法は連鎖律 (Chain Rule) を組み合わせたもの

・過学習 (Overfitting) 対策 
　ードロップアウト (完全に理解できなかったので別途調べる)
　　学習時に適用する
　　ある確率 (1-P) でノードの出力を０とする
　　重みの更新時は (1-P) の逆数をかける
　　※隣接するノード？の出力結果が０になっているため
　　推論時は重みにPをかける
　ー正則化
　　損失関数に加えて正則化項も含めて学習を行う。結果、重みも同時に小さくなる
　　L1正則化: Lasso回帰
　　L2正則化: Ridge回帰

セクション10: 深層学習〜最適化〜 (0h 50m)

・最急降下法 (Steepest Descent Method / Gradient Descent Method)
　学習係数: Learning Rate

・SGD 確率的勾配降下法 (Stochastic Gradient Descent)
　Batch 学習
　経験的に局所解に陥りにくい

・モーメンタム (Momentum)
　SGDに速度ベクトルを加えたもの

セクション11: 深層学習〜CNN・RNN〜 (1h 22m)

・ネステロフのモーメンタム (Nesterov Momentum)
　論文で良く出てくる言葉（empirically）

・Adagrad (SGD の派生系)
　アダマール積 (要素積)
　勾配に応じて係数が変わる

・RMSProp
　Adagrad の発展系
　減衰率ρ で調整する
　ハイパーパラメータは多い

・Adam
　RMSProp / Momentum を組み合わせたようなもの
　試行回数t を変数に入れることで、係数の値が変わらなくなる

セクション11: 深層学習〜CNN・R-CNN〜 (1h 22m)

・画像認識の有名なモデル
　ーAlexNet 2012 ILSVRC 優勝
　ーVGG16 2014 ILSVRC 2位
　　Convolution / Pooling を繰り返すCNNベースのネットワーク構成
　ーGoogle Net 2014 ILSVRC 優勝
　　Inception モジュール
　　途中でsoftmax を入れると勾配消失を防ぐ
　ーResNet (Residual Network) ILSVRC 2015 優勝
　　元の値を利用することで、バックプロップで勾配消失を防ぐ
　　Batch Normalization
　　GAP (Global Average Pooling)
　　He の初期化

・R-CNN (Regions with CNN)
　ー概要
　　一般物体検出
　ーCNN の復習 (Convolutional Neural Network)
　ーR-CNN
　　領域を取り出す＝Selective Search
　　背景もラベリングする
　　計算コストが高い
　ー正解の定義 (IoU: Intersection of Union)
　　Bounding Box
　　IoU = Area of Overlap / Area of Union
　ーFast R-CNN
　　RoI Pooling を用いる
　ーMulti-task Loss
　　クロスエントロピー L1, 矩形回帰誤差 L2
　ーFaster R-CNN
　　Selective Search を使わないことで、最後までバックプロップできる
　　その代わりにRPN: Region Proposal Network を用いる

・Semantic Segmentation
U-Net 

突然、Semantic Segmentation の話が出てきたので以下調べた内容。

セマンティック セグメンテーション (Semantic Segmentation) は、画像内の全画素にラベルやカテゴリを関連付けるディープラーニング (Deep Learning) のアルゴリズムです。特徴的なカテゴリを形成する画素の集まりを認識するために使用されます。たとえば、自動運転車は車両、歩行者、交通標識、歩道、その他の道路の特徴を識別する必要があります。セマンティック セグメンテーションは、自動運転、医療用画像処理、工業用検査など幅広い用途で使用されています。

FCN
Fully Convolutional Networks for Semantic Segmentation

SegNet
Pooling した時の情報をdecoder 側に渡す

この記事が気に入ったらサポートをしてみませんか？