対数尤度比関数

ベイズ学習の理論解析で重要な役割をもつ関数の１つとして対数尤度比関数があります．統計モデル$${p(x|w)}$$、真の分布を表すパラメータ$${w_0}$$に対して対数尤度比関数$${f(x,w_0,w)}$$は

$$
f(x,w_0,w)=\log \frac{p(x|w_0)}{p(x|w)}
$$

で与えられます．真の分布$${w_0}$$を固定すれば汎化誤差（平均誤差関数）は

$$
K(w) = \mathbb{E}_{p(x|w_0)}[f(x,w_0,w)]=\int p(x|w_0)f(x,w_0,w) dx
$$

となり、平均誤差関数の平均であることが分かり、対数尤度関数の振る舞いを調べることが重要かが分かります．この対数尤度比関数は$${w}$$と$${x}$$の関数ですが$${w}$$の関数と考えた場合、$${w_0}$$を固定値と考えて省略して書くと$${x}$$の関数

$$
f_w(x)=f(x,w)
$$

を値に取る$${w}$$の関数値関数となっています．したがって対数尤度関数の振る舞いを知るには関数に値をもつ関数について調べる必要があります．

真の分布$${q(x)}$$に対して

$$
\int |f(x)|^s q(x)dx < \infty
$$

を満たす関数$${f(x)}$$の集合を$${L^s(q)}$$とするとき、適当な条件を課すことで$${f_w(x)}$$は$${L^s(q)}$$に属すようにできます．また$${L^s(q)}$$は与えられたノルムに対して完備性を持つなどを利用して、通常の複素数に値をもつ関数と同じように議論を関数に値をもつ関数にも展開することができます．

ベイズ学習では上記のような性質を利用して$${f_w(x)}$$の振る舞いの解析を行います．

自分の勉強用に作成した資料はこちら（間違いなどに気づかれた方は指摘頂けると嬉しいです。）：

対数尤度比関数.pdf

246 KB

ファイルダウンロードについて

ダウンロード

[1] 渡辺澄夫、代数幾何と学習理論、森北出版株式会社、２００６年

代数幾何と学習理論｜森北出版株式会社

[2] Sumio Watanabe、Algebraic geometry and Statistical learning Theory、 Cambridge University Press、２０１１年

Algebraic Geometry and Statistical Learning Theory - Cambridge University Press