見出し画像

正規化、モデル圧縮、分散処理

正規化(標準化)の3つの手法

▼バッチノーマライゼーション
 チャンネルをまたいでサンプルを取り正規化する手法であり、基本的にはこれを追求
▼レイヤーノーマライゼーション
 レイヤー内で標準化する手法であり、画像などメモリを大量に使うバッチサイズが小さいときに有効
▼インスタンスノーマライゼーション
 チャンネル単位で正規化する手法であり、バッチサイズが小さい、特に画像スタイル変換を行う際に有効

モデル圧縮の3つの手法

▼Pruning(枝刈り)
 必要性の低い重み(閾値を事前に設定)を0にする手法であり、学習中のモデルに適用
▼QUantization(量子化)
 重みを任意の実数値でなく限定された値(閾値を事前に設定)に落とし込む手法であり、学習済モデルに対して行う
▼Distillation(蒸留)
 事前に学習させた教師モデルを使って(KLダイバージェンスを使った分布の活用)、ノード数の少ない軽量化された生徒モデルを構築し、推論の高速化が可能

分散処理の2つの手法

▼データ並列
 ミニバッチのデータを複数のGPUに乗せて学習を行う手法(パラメータ更新の際はマスタと呼ばれるGPUで一括)
▼モデル並列
 モデルの内部の計算を複数に分けて計算させる手法(処理が複雑になるためデータ並列の方がよく使われる)

この記事が気に入ったらサポートをしてみませんか?