ベイズ学習と自由エネルギーの漸近展開について
ベイズ学習では自由エネルギーが重要な役割を果たします．それは例えば次の関係があるからです[1]．
$${\mathbb{E}[G_n]=\mathbb{E}[F_{n+1}]-\mathbb{E}[F_n] }$$
ここで$${G_n}$$は汎化誤差を表します．
つまり自由エネルギーを知ることができれば汎化誤差を知ることができます．自由エネルギーの漸近展開については以下が成り立つことが知られています．
$${F_n(\bm{X}^n) = nL_n(w_0)-\lambda \log n -(m - 1)\log\log n + O_p(1)}$$
ここで$${\bm{X}^n}$$は与えられたデータ、$${w_0}$$は真の分布と統計モデル$${p(x|w)}$$上記のKL距離を最小にする点です．上記の２つの式から汎化誤差は
$${ \mathbb{E}[G_n] = L(w_0)+\frac{\lambda}{n}+o\left( \frac{1}{n}\right) }$$
で与えられることが分かります．つまり自由エネルギーの$${\log n}$$の係数$${\lambda}$$が分かるとモデルの汎化性能を知ることができます．例えば正則モデルではこの$${\lambda}$$の値はパラメータの次元$${d}$$に対して$${\frac{d}{2}}$$で与えられることが分かっています．特異モデルについても例えば混合正規分布や3層ニューラルネットワークについても$${\lambda}$$が求められています[2]．
[1] 渡辺澄夫、ベイズ統計の理論と方法、コロナ社、２０１２年
https://www.coronasha.co.jp/np/isbn/9784339024623/
[2] 渡辺澄夫、代数幾何と学習理論、森北出版株式会社、２００６年
https://www.morikita.co.jp/books/mid/081321
自身の勉強用に作成した資料はこちら：
この記事が気に入ったらサポートをしてみませんか？