mathdk

エンジニアです。数学や機械学習についてメモを書いています。アドバイスや間違いの指摘があ…

mathdk

エンジニアです。数学や機械学習についてメモを書いています。アドバイスや間違いの指摘があればぜひお願いします．

ブローアップと機械学習①

ブローアップの例 ベイズ学習では特異点が重要な役割を果たします． ( 詳しくは：https://note.com/kaji_dai/n/n093b9fe2811a） 統計モデルの性能指標の１つである学習係数は統計モデル$${ p(x|w) }$$と真の分布$${ p(x|w_0) }$$( $${w}$$はパラメータ、$${w_0}$$は真の分布を表すパラメータ）に対して決まる平均誤差関数 $$ K(w) = \int p(x|w_0) \log \frac{p(x|w

mathdk

    • 対数尤度比関数

      ベイズ学習の理論解析で重要な役割をもつ関数の１つとして対数尤度比関数があります．統計モデル$${p(x|w)}$$、真の分布を表すパラメータ$${w_0}$$に対して対数尤度比関数$${f(x,w_0,w)}$$は $$ f(x,w_0,w)=\log \frac{p(x|w_0)}{p(x|w)} $$ で与えられます．真の分布$${w_0}$$を固定すれば汎化誤差（平均誤差関数）は $$ K(w) = \mathbb{E}_{p(x|w_0)}[f(x,w_0,w)

      mathdk

      • ベイズ学習　学習過程と特異点

        ベイズ学習の学習過程における特異点の役割について考えます([1] 7.3)．パラメータ$${ w }$$をもつ統計モデル$${ p(x|w) }$$に対してパラメータ$${w}$$ があるパラメータ$${w_\alpha}$$の近傍$${W_\alpha}$$に含まれる確率$${p_\alpha}$$は $$ p_\alpha = \int_{W_\alpha} p(w|X^n) dw $$ と書けます．ここで$${ p(w|X^n ) }$$はデータ$${ X^n =

        mathdk

        • 積分の変数変換とヤコビアン行列

          積分$${ \int f(\bm{x}) d\bm{x} ,\,\,\,\bm{x}\in \mathbb{R}^d}$$について考ます．$${ \bm{y}=(y_1,\cdots,y_d) }$$から$${ \bm{x}=(x_1,\cdots,x_d) }$$への関数$${ \bm{x}=\varphi(\bm{y})=(\varphi_1(\bm{y}),\cdots, \varphi_d(\bm{y}))}$$に対して$${\bm{y}}$$でのヤコビアン行列は

          mathdk

        ブローアップと機械学習①

        mathdk

          クラスタリングについて

          データのクラスタリングで「真のクラスターの数」が議論になることが度々あります．その理由として クラスタリングアルゴリズムの多くは事前にクラスター数を決めておく必要がある クラスタリングアルゴリズムを実施した結果が分析者の直観と一致しない などが考えられます．アルゴリズムとしてはベイズ理論を用いた方法など（ある程度、自動的に）クラスタ数を決めてくれるものもありますが、そもそも「クラスター数」とはどのように決まるのか？を考えてみることはデータを分析する上で重要だと思います．

          mathdk

          クラスタリングについて

          mathdk

          ベイズ学習と自由エネルギーの漸近展開について

          ベイズ学習では自由エネルギーが重要な役割を果たします．それは例えば次の関係があるからです[1]． $${\mathbb{E}[G_n]=\mathbb{E}[F_{n+1}]-\mathbb{E}[F_n] }$$ ここで$${G_n}$$は汎化誤差を表します． つまり自由エネルギーを知ることができれば汎化誤差を知ることができます．自由エネルギーの漸近展開については以下が成り立つことが知られています． $${F_n(\bm{X}^n) = nL_n(w_0)-\lam

          mathdk

          ベイズ学習と自由エネルギーの漸近展開について

          mathdk

          KL情報量をプログラムで計算するとき

          機械学習の理論解析などで真の分布$${q(x)}$$を仮定しているときなどKL情報量をプログラム的に計算したいことがあります。理論的にはKL情報量は $${K(q(x)||p(x))=0}$$ なのですが数値的に求める場合はデータを$${q(x)}$$から生成して $${\frac{1}{n}\sum_{i=1}^n \log \frac{q(x)}{p(x)}}$$ で計算を行います．このときデータの出かたによってはKL情報量が負の値になってしまうことがあり論文など

          mathdk

          KL情報量をプログラムで計算するとき

          mathdk