計算論的神経科学 第4章-1

「計算論的神経科学」（田中宏和）の第4章（〜p103）についてメモ書きする。第四章では観測を理論を用いて外界を最適に推定するための評価関数について説明されている。

推定問題での推定法

　データより推定したい量を仮定するため、何らかのモデルを導入する必要がある。推定法には大きく古典推定とベイズ推定の2通りあげられ、古典推定は点推定であり特定の推定値が真の値に近似するよう関数が決定される。一方ベイズは推定値の値ではなく確率分布に基づいた条件付き確率を求める。一概にどちらが良いというわけではなく推定方法が異なり、モデルを導入する際はその立場を明示する必要がある。

古典推定-最尤推定法

　古典推定の一例として最尤推定法がある（尤もらしさ）。確率変数Xから生じた観測データxが与えられた時にそのデータの分布を推定する。生成モデルを記述するパラメータθで規定された尤度関数（確率密度関数）p(x|θ)において、データサンプル{x_i}が与えられたとするとその尤度関数はサンプルの寄せ集めで（4.1）式と定義される（ΠはΣの掛け算バージョン、関数だから）。最尤法ではこの尤度関数を最大化するパラメタを求めるので、対数尤度関数
l_n(n) = 1/n・logL_n(θ)
=1_n・logΠ{n}_{i=1}p(x_i|θ)
=1/n・log{p(x_1|θ)p(x_2|θ)...p(x_n|θ)}
=1/n・Σ{n}_{i=1}logp(x_i|θ)
を導入すると計算が楽。尤度関数はデータの生成方法に関する記述だから、生成過程のモデル化とは尤度関数の設定の問題である。最尤法にて尤度関数を最大化するパラメタの値（4.3）式を最尤推定法と呼ぶ。ここで^(ハット)は推定値であること、arg max L_n(θ)はL_n(θ)をmaxにするxの集合を示す。
　モデル推定にて最尤法をよく使う理論的背景として
1. カルバック-ライブラー情報量(LK情報量)を最小にする
2. クラメール-ラオの下限を満たす
ことがあげられる。1つ目について、（4.4）式内のp(x)は重み付け（与えられた情報量についての推定分布と真の分布との差分）を示しEは期待値を表す。第一項はθによらないからKL情報量を最小化（推定と真の誤差を最小にする）には第二項 E[log p(x|θ)]を最大化すれば良い。そもそもデータサンプルは真の分布から生じているため、l_n(θ)は（4.5）式となる。ここで漸近的に∫dxp(x)log p(x|θ)となるのは（4.4）式で期待値を用いているからに他ならない。また、最尤法をよく使う理論的背景の2つ目について、クラメール-ラオの下限とは推定量^θ(X)が与えられたときのその分散の下限（不偏推定量にてこれ以上分散を小さくできない限界）のことで（式(4.7)）、分散はモデルの推定量としての良さに対応する。ここでI(θ)はデータの曖昧さを表すフィッシャー情報量と呼ばれ（4.8）式のように定義される（詳しい導入は「自然科学の統計学」4.3章を参考にすると良い）。

ベイズ推定

　ベイズの定理（式(4.14)）は結果が観測されたときの原因の確率（パラメタの条件付き確率）を求めるために利用され、ベイズにおける確率は確信度（主観確率）を示す。ベイズは尤度設定によりデータ生成のモデル化（p(x|θ)）、事前確率によりパラメタの事前知識のモデル化（p(θ)）の両方を組み込めるため自由度が高く、長所にも短所にもなりうる。

事後確率の最大化

　パラメタに関する事前知識を最大に活かすため、事後確率最大推定量（式(4.15)）を導入する。これは（4.3）式に事前確率p(θ)がくっついたものである。ベクトル平均法（局所的速度を平均し物体全体の運動速度とする方法）と制約線の交点法（各所の速度の制約条件より全体の速度を決定する方法）の統一説明を行った研究において、（4.17）式はベイズに則ったランダムノイズを示している。画像のコントラストの増減は尤度関数の分散（{σ_o}^2）に対応し、コントラストが高いほど見やすいため（雑音の分散）<（事前確率）で（4.19）式は1/{σ_v}^2を無視して（4.20）式となる。
　感覚運動にもベイズ推定が用いられている。図4.5においてカーソルの移動は水平方向のみに限定されており、（4.26）式は
終点での推定誤差＝視覚フィードバックの分散（ぼやかし度合い）/（カーソル位置の分散+視覚フィードバックの分散）・（実際の初期位置-初期位置の平均）
を示している。