趣味で機械学習

物理屋が趣味で機械学習の勉強をしています．

趣味で機械学習

物理屋が趣味で機械学習の勉強をしています．

  • PRML演習問題　解答　第1章

    Bishop の Pattern Recognition and Machine Learning の演習問題の解答です． 門外漢の物理屋が解いているので悪しからず．

PRML 第1章 1.19(標準)

$$ \begin{array}{ll} (1.145) & \dfrac{球の体積}{立方体の体積} = \dfrac{\pi^{D/2}}{D~2^{D-1} \Gamma(D/2)}\\[1em] (1.146) & \Gamma(x+1) \simeq (2\pi)^{1/2} e^{-x} x^{x+1/2} \end{array} $$ 解答　演習問題1.18の結果より， $$ \begin{array}{ll} \dfrac{球の体積}{立方体の体積} &=

趣味で機械学習

    • PRML 第1章 1.18(標準)

      $$ \begin{array}{ll} (1.126) & I = {\displaystyle \int_{-\infty}^\infty} \exp \left( -\dfrac{1}{2\sigma^2}x^2 \right) dx = (2\pi\sigma^2)^{1/2}\\[1.5em] (1.141) & \Gamma(x) \equiv {\displaystyle \int_0^\infty} u^{x-1} e^{-u} du\\[1.5em] (1.

      趣味で機械学習

      • PRML 第1章 1.17(標準)

        $$ \begin{array}{ll} (1.141) & \Gamma(x) \equiv {\displaystyle \int_0^\infty} u^{x-1} e^{-u} du \end{array} $$ 解答　部分積分を実行すると， $$ \begin{array}{lll} \Gamma(x+1) &=& {\displaystyle \int_0^\infty} u^x (-e^{-u})' du\\[1.5em] &=& \Bigl[ -u^x e

        趣味で機械学習

        • PRML 第1章 1.16(難問)

          $$ \begin{array}{ll} (1.138) & N(D,M) = {\displaystyle \sum_{m=0}^M} n(D,m)\\[1.5em] (1.139) & N(D,M) = \dfrac{(D+M)!}{D!M!}\\[1.5em] (1.140) & n! \simeq n^n e^{-n} \end{array} $$ 解答　次数が異なる項は独立であるから， $$ \begin{array}{l} N(D,M) = n(D,0) +

          趣味で機械学習

        PRML 第1章 1.19(標準)

        趣味で機械学習

        マガジン

        • PRML演習問題　解答　第1章
          19本

        記事

          PRML 第1章 1.15(難問)

          $$ \begin{array}{ll} (1.133) & {\displaystyle \sum_{i_1 = 1}^D \sum_{i_2 = 1}^D \cdots \sum_{i_M = 1}^D} w_{i_1i_2\cdots i_M} x_{i_1}x_{i_2}\cdots x_{i_M}\\[1.5em] (1.134) & {\displaystyle \sum_{i_1 = 1}^D \sum_{i_2 = 1}^{i_1} \cdots \sum_{

          ¥100
          趣味で機械学習

          PRML 第1章 1.15(難問)

          ¥100
          趣味で機械学習

          PRML 第1章 1.14(標準)

          解答　$${w_{ij}^{\mathrm{S}}}$$，$${w_{ij}^{\mathrm{A}}}$$はそれぞれ $$ \begin{array}{l} & w_{ij}^{\mathrm{S}} = \dfrac12 (w_{ij} + w_{ji}),\\[1em] & w_{ij}^{\mathrm{A}} = \dfrac12 (w_{ij} - w_{ji}) \end{array} $$ と表せるので，任意の正方行列は$${w_{ij} = w_{ij}

          趣味で機械学習

          PRML 第1章 1.14(標準)

          趣味で機械学習

          PRML 第1章 1.13(基本)

          $$ \begin{array}{ll} (1.56) & \sigma_{\scriptscriptstyle\mathrm{ML}}^2 = \dfrac{1}{N} {\displaystyle \sum_{n=1}^N} (x_n - \mu_{\scriptscriptstyle\mathrm{ML}})^2 \end{array} $$ 解答(1.56)の$${\mu_{\scriptscriptstyle\mathrm{ML}}}$$を$${\mu}$$で置き

          趣味で機械学習

          PRML 第1章 1.13(基本)

          趣味で機械学習

          PRML 第1章 1.12(標準)

          $$ \begin{array}{ll} (1.49) & \mathbb{E}[x] = {\displaystyle \int_{-\infty}^\infty} \mathcal{N}(x|\mu,\sigma^2)~xdx = \mu\\[1em] (1.50) & \mathbb{E}[x^2] = {\displaystyle \int_{-\infty}^\infty} \mathcal{N}(x|\mu,\sigma^2)~x^2dx = \mu^2 + \s

          趣味で機械学習

          PRML 第1章 1.12(標準)

          趣味で機械学習

          PRML 第1章 1.11(基本)

          $$ \begin{array}{ll} (1.54) & \ln p(\mathbf{x} | \mu,\sigma^2) = -\dfrac{1}{2\sigma^2} {\displaystyle \sum_{n=1}^N} (x_n - \mu)^2 - \dfrac{N}{2} \ln\sigma^2 - \dfrac{N}{2} \ln(2\pi)\\[1em] (1.55) & \mu_{\scriptscriptstyle\mathrm{ML}} = \dfr

          趣味で機械学習

          PRML 第1章 1.11(基本)

          趣味で機械学習

          PRML 第1章 1.10(基本)

          解答$${x}$$，$${z}$$が独立であることから，$${p(x,z) = p(x)p(z)}$$となる． 連続変数の場合： $$ \begin{array}{lll} \mathbb{E}[x+z] &=& {\displaystyle \iint} (x+z) p(x,z) dxdz\\[1em] &=& {\displaystyle \iint} (x+z) p(x)p(z) dxdz\\[1em] &=& {\displaystyle \iint} x p(

          趣味で機械学習

          PRML 第1章 1.10(基本)

          趣味で機械学習

          PRML 第1章 1.9(基本)

          $$ \begin{array}{ll} (1.46) & \mathcal{N}(x|\mu,\sigma^2) = \dfrac{1}{(2\pi\sigma^2)^{1/2}} \exp \left\{ -\dfrac{1}{2\sigma^2}(x - \mu)^2 \right\}\\[1em] (1.52) & \mathcal{N}(\mathbf{x}|\boldsymbol{\mu},\boldsymbol{\Sigma}) = \dfrac{1}{(2\p

          趣味で機械学習

          PRML 第1章 1.9(基本)

          趣味で機械学習

          PRML 第1章 1.8(標準)

          $$ \begin{array}{ll} (1.46) & \mathcal{N}(x|\mu,\sigma^2) = \dfrac{1}{(2\pi\sigma^2)^{1/2}} \exp \left\{ -\dfrac{1}{2\sigma^2}(x - \mu)^2 \right\}\\[1em] (1.49) & \mathbb{E}[x] = {\displaystyle \int_{-\infty}^\infty} \mathcal{N}(x|\mu,\sigm

          趣味で機械学習

          PRML 第1章 1.8(標準)

          趣味で機械学習

          PRML 第1章 1.7(標準)

          $$ \begin{array}{ll} (1.48) & {\displaystyle \int_{-\infty}^\infty} \mathcal{N}(x|\mu,\sigma^2) dx = 1\\[1em] (1.125) & I^2 = {\displaystyle \int_{-\infty}^\infty \int_{-\infty}^\infty} \exp \left( -\dfrac{1}{2\sigma^2}x^2-\dfrac{1}{2\sigma

          趣味で機械学習

          PRML 第1章 1.7(標準)

          趣味で機械学習

          PRML 第1章 1.6(基本)

          $$ \begin{array}{ll} (1.41) & \mathrm{cov}[x,y] = \mathbb{E}_{x,y} \bigl[ \{x-\mathbb{E}[x]\} \{y-\mathbb{E}[y]\} \bigr] = \mathbb{E}_{x,y}[xy] - \mathbb{E}[x] \mathbb{E}[y] \end{array} $$ 解答変数$${x}$$，$${y}$$が独立であるとき，$${p(x,y) = p(x)p(y)}$

          趣味で機械学習

          PRML 第1章 1.6(基本)

          趣味で機械学習

          PRML 第1章 1.5(基本)

          $$ \begin{array}{l} (1.38) & \mathrm{var}[f] = \mathbb{E} \bigl[ (f(x) - \mathbb{E}[f(x)])^2 \bigr]\\[1em] (1.39) & \mathrm{var}[f] = \mathbb{E}[f(x)^2] - \mathbb{E}[f(x)]^2 \end{array} $$ 解答定義(1.38)と$${\mathbb{E}}$$の線形性により， $$ \begin{arr

          趣味で機械学習

          PRML 第1章 1.5(基本)

          趣味で機械学習

          PRML 第1章 1.4(標準)

          $$ \begin{array}{ll} (1.27) & p_y(y) = p_x(x)\left| \dfrac{dx}{dy} \right| = p_x(g(y))~|g'(y)| \end{array} $$ 解答　(1.27)を$${y}$$で微分すると， $$ \begin{array}{ll} \dfrac{d p_y(y)}{dy} &= \dfrac{d p_x(x)}{dx} \dfrac{dx}{dy}~|g'(y)| + p_x(g(y)) \d

          趣味で機械学習

          PRML 第1章 1.4(標準)

          趣味で機械学習