『深層学習』(人工知能学会)メモ

内部表現：観測データから本質的な情報を抽出して表現すること。(低次元化とか)
特徴工学：あるタスクに適した良い内部表現の構成と言う問題のこと。人手で行うアプローチと、データに基づいて内部表現を学習させる、と言うアプローチがある。
表現学習：特徴工学における、人手で候補をたくさん作って、データを使った学習でその中から選択する、と言う折衷的なアプローチ。→表現に対する客観的な評価尺度が必要。（情報量、独立性、説明性、スパース性、不変性、ロバスト性、平滑性。)
主成分分析：次元削減による内部表現の学習法の１つ。次元削減後の分散が最大になる軸にデータを射影する頃で低次元化を行う。
多様体学習：種成分分析が信号の空間の部分空間への線形射影であるのに対し、非線形の多様体構造をデータから学習する問題。

しきい関数a(x)：xが0位上なら1、0より小さければ0等異様なthresholdを持つ二値活性化関数
相互結合ニューラルネットワーク：ノード同士が相方向に結合しているネットワークで、信号がネットワーク内を繰り返し伝播していく。特にノードAからノードBへの結合とその逆方向の結合が同じ値をとる相互結合を対称結合といい、ボルツマンマシンが代表的な例である。
階層型ニューラルネットワーク：ノードが複数の層に分かれていて、ノードは後ろ(出力側）のノードにのみ結合する。
受容野：あるノードに結合している前層のノードの集合。
単純パーセプトロン：入力層と出力ノードが2つだけであるような階層型ニューラルネットワークの情報処理モデル。入力に前処理を行う連合層を加える場合がある。

誤り訂正学習則：階層型ニューラルネットワークの教師あり学習の例。学習用データの入力に対し、パーセプトロンの出力(1 or 0とか。分類問題で使うっぽい)が誤りであれば、重みを少しずつ(学習率)更新する。(出力層の重みしか修正できないのが弱み）
オンライン学習：誤り訂正学習則で、入力が与えられるごとに少しずつ学習を進める学習手続き。
バッチ学習：誤り訂正学習則で、全てのデータに対して重みの修正量を計算し終えたら、まとめてその総和ぶん修正する学習手続き
パーセプトロン学習則の収束定理：誤り訂正学習則において、学習用データが線形分離可能(全ての学習用データに対して正解を出力する重みwが存在する)時、有限回の修正によって重みwが収束する、という定理。

誤差逆伝播学習：階層型ニューラルネットワークの教師あり学習の例。出力層よりも前の隠れ層のノードへの結合の重みを修正できる。また、観測データからタスクに適した内部表現を学習的に獲得できる。一方で、層の数が多い新装ニューラルネットワークに適用しようとすると局所収束や勾配焼失問題が起きる。
確率的勾配降下法：出力と訓練データ正解の二乗誤差の重みについての偏微分を再帰的に計算する重み更新則。

競合学習：階層型ニューラルネットワークの教師なし学習の例。入力ベクトルxと重みベクトルwのノルムが1に規格化されている時、入力ベクトルxに対し、出力層のノードの出力値を計算し、最大の出力を出しているノードへの結合を、wがxに近づくように更新する。

畳み込みニューラルネットワーク(CNN)：層の数が多いニューラルネットワークをうまく学習させるためのアイデアの１つで、タスクに応じた結合構造をあらかじめ作り込むことで結合重みの自由度を減らし、学習を用意にする、というもの。手書き文字の認識に適用される。

砂時計型ニューラルネットワーク：自己符号化器として用いられる、隠れ層のノードが入出力層のノード数よりも小さいネットワーク。入力層自身が教師となり、入力に対応する出力の値が一致するように誤差逆伝播学習することによって、入力の低次元化した表現を得ることができる。恒等関数を活性化関数に用いることで、種成分分析と同様の処理結果が得られる。また、2層目と4層目のノード数を入力層よりも多くし、3層目のノード数を少なくした5層のネットワークを用いると、より非線形性が強い符号化が実現できる。

積層自己符号化器：自己符号化学習を再帰的に繰り返し、得られるネットワークの符号化部分を積み重ねていくことで低次元の内部表現を得る積層型真相ネットワーク。