Dean＠Edinburgh

NYとエジンバラの大学で、スパコンや、科学計算ソフト開発を続けて20年以上が経ちました…

Dean＠Edinburgh

NYとエジンバラの大学で、スパコンや、科学計算ソフト開発を続けて20年以上が経ちました。 今までとは全く違うことを始めてみたくて、Pythonと機械学習を勉強し始めました。 機械学習/AIが、どこまで行けるのか、楽しみです。

多次元確率分布　ディレクレ分布

各成分が正の$${d}$$次元のベクトル$${{\bf \alpha}=(\alpha_1,\cdots, \alpha_d)^T}$$を用いたガンマ分布に従う確率変数$${{\bf y}=(y_1,\cdots,y_d)^T}$$を、$${y_{tot}=\Sigma^d_{j=1}y_j}$$で正規化した確率変数$${{\bf x}=(x_1,\cdots,x_d)^T=\displaystyle{(\frac{y_1}{y_{tot}},\cdots,\frac{y_d

Dean＠Edinbu…

    • 多次元確率分布　多次元正規分布

      確率変数$${y_1, \cdots, y_d}$$がそれぞれ独立な正規分布に従う時、$${{\bf y}=(y_1, \cdots, y_d)^T}$$と記せば、この$${d}$$次元の確率変数$${{\bf y}}$$の確率密度関数は、 $${g({\bf y})=\displaystyle{\Pi^d_{j=1}\frac{1}{\sqrt{2\pi}} exp(-\frac{y_j^2}{2})=\frac{1}{(2\pi)^{d/2}} e^{-\frac{1}{

      Dean＠Edinbu…

      • 多次元確率分布：多項分布

        $${0}$$か$${1}$$かの二項分布の拡張であり、$${d}$$面を持つサイコロの各面が出る確率が$${{\bf P}=(p_1, \cdots, p_d)^T}$$とし、それぞれが出た回数$${{\bf x}=(x_1, \cdots, x_d)^T}$$が従う確率分布である。 $${\displaystyle{\sum_{i=1}^d p_i=1, p_i \geq 0, i \forall d}}$$ $${\displaystyle{\sum_{i=1}^d x

        Dean＠Edinbu…

        • 多次元確率分布：共分散と相関係数

          確率変数$${x,y}$$の共分散は、 $${Cov[x,y]=E[(x-E[x])(y-E[y])]}$$ と定義される。これを用いれば、$${x+y}$$の分散は、 $${V[x+y]=V[x]+V[y]+Cov[x,y]}}$$ と与えられる。 $${Cov[x,y]>0}$$の時、$${x}$$が増加すると、$${y}$$も増加し、 $${Cov[x,y]<0}$$の時、$${x}$$が増加すると、$${y}$$は減少する。 $${Cov[x,y]\sim 0}$$の

          Dean＠Edinbu…

        多次元確率分布　ディレクレ分布

        Dean＠Edinburgh

          多次元確率分布：同時確率分布、条件付確率分布、ベイズの定理

          同時確率 離散型確率変数の$${x, y}$$が、同時にある値（$${x=y}$$とは限らない）を取る確率を$${Pr(x,y)}$$と表す。この同時確率質量関数は、 $${Pr(x,y)=f(x,y),\ f(x,y)>0}$$と示され、$${\displaystyle{\sum_{x,\ y }f(x,y)=1}}$$である。 $${x}$$の確率質量関数は、 $${g(x)=\displaystyle{\sum_{y}f(x,y)}}$$ であり、同じく$${y}$$

          Dean＠Edinbu…

          多次元確率分布：同時確率分布、条件付確率分布、ベイズの定理

          Dean＠Edinburgh

          t分布とF分布の期待値と分散

          t分布 $${\cal{N}(0,1)}$$に従う確率変数$${z}$$と、自由度$${p}$$の$${\chi}$$二乗分布に従う確率変数$${y}$$の比、$${x=\displaystyle{\frac{z}{\sqrt{\frac{y}{p}}}}}$$は$${t}$$分布に従い、確率密度関数は、 $${f(x)=\displaystyle{\frac{1}{B(\frac{p}{2},\frac{1}{2})\sqrt{p} }\Big(1+\frac{x^2}{

          Dean＠Edinbu…

          t分布とF分布の期待値と分散

          Dean＠Edinburgh

          コーシー分布とラプラス分布

          コーシー分布 $${\cal{N}(0,1)}$$の独立な確率変数$${z,\ z'}$$の比である$${x=\displaystyle{\frac{z}{z'}}}$$が従う確率分布を、最頻値$${0}$$、半値巾$${1}$$の標準コーシー分布と呼び、確率密度関数は$${f(x)=\displaystyle{\frac{1}{\pi(x^2+1)}}}$$で与えられる。 これを一般化して、最頻値$${a}$$、半値巾$${b}$$としたコーシー分布の確率密度関数は、 $

          Dean＠Edinbu…

          コーシー分布とラプラス分布

          Dean＠Edinburgh

          Beta分布に従う確率変数の期待値と分散

          $${\alpha}$$、$${\beta}$$を正整数としたとき、連続一様分布$${U(0,1)}$$に従う$${\alpha+\beta-1}$$個の確率変数の内、その値が小さい方から$${\alpha}$$番目（大きい方から$${\beta}$$番目）の$${x}$$が従うのがBeta分布であり、$${Be(\alpha,\beta)}$$と表す。 Beta関数は $${B(\alpha,\beta)=\displaystyle{\int^1_0x^{\alpha-1}

          Dean＠Edinbu…

          Beta分布に従う確率変数の期待値と分散

          Dean＠Edinburgh

          Gamma分布、指数分布、カイ二乗分布に従う確率変数の期待値、分散、モーメント母関数

          Gamma分布 単位時間に平均$${\lambda}$$回起こる確率的事象が$${\alpha}$$回起こるまでの時間$${x}$$が従う確率分布を、Gamma分布と呼ぶ。 この確率密度関数は、Gamma関数$${\displaystyle{\Gamma(\alpha)=\int^\infty_0x^{\alpha-1}e^{-x}dx, \Gamma(1)=\int^\infty_0e^{-x}dx=1}}$$を用いて、 $${\displaystyle{f(x)=\f

          Dean＠Edinbu…

          Gamma分布、指数分布、カイ二乗分布に従う確率変数の期待値、分散、モーメント母関数

          Dean＠Edinburgh

          連続一様分布に従う連続型確率変数と正規分布に従う連続型確率変数の期待値と分散、モーメント母関数

          上限と下限をもつ連続一様分布 一様分布の確率変数$${x:x\in[a,b]}$$の確率密度関数は $${f(x)=\displaystyle{\begin{cases}\frac{1}{b-a} & (a \leq x \leq b)\\0 & (x\leq a , x\geq b)\end{cases}}}$$ で与えられ、期待値と分散は以下のようになる。 $${E[x]=\displaystyle{\int^b_ax\frac{1}{b-a}dx = \frac{b^

          Dean＠Edinbu…

          連続一様分布に従う連続型確率変数と正規分布に従う連続型確率変数の期待値と分散、モーメント母関数

          Dean＠Edinburgh

          負の二項分布に従う確率変数の期待値と分散、モーメントと幾何分布

          負の二項分布 成功確率が$${p}$$の試行で$${k}$$回の成功を得るまでの失敗の回数$${x}$$が従う確率分布を負の二項分布呼ぶ。 $${k+x}$$回で$${k}$$回成功しているから、$${k+x-1}$$回中の$${x}$$回失敗の組み合わせは、$${{}_{k+x=1}C_x}$$であるから、確率密度関数は、 $${f(x)={}_{k+x-1}C_xp^k(1-p)^x}$$と与えられる。 $${{}_rC_x}$$は$${r<0}$$に拡張できて、 $$

          Dean＠Edinbu…

          負の二項分布に従う確率変数の期待値と分散、モーメントと幾何分布

          Dean＠Edinburgh

          ポアソン分布に従う確率変数の期待値と分散、モーメント母関数

          成功確率がどんなに小さくても、試行を無限に繰り返せば、成功事例は起こり得る。これを証明するのがポアソンの少数の法則である。 二項分布で、成功する確率を$${p}$$とすれば、失敗する確率は$${1-p}$$であり、$${n}$$回中$${x}$$回成功する組み合わせは、$${{}_nC_x}$$で与えられるから、この確率密度関数は$${f(x)={}_nC_xp^x(1-p)^{n-x}}$$となる。 $${\displaystyle{p=\frac{\lambda}{n}}

          Dean＠Edinbu…

          ポアソン分布に従う確率変数の期待値と分散、モーメント母関数

          Dean＠Edinburgh

          超幾何分布の期待値、分散、モーメント母関数

          非復元抽出の回数を重ねるごとに確率分布が変化する確率変数の期待値と分散、モーメント母関数を求める。 Aが$${M}$$個、Bが$${N-M}$$個入っている箱から、$${n}$$個を取り出した中にAが$${x}$$個入っている確率の分布$${HG(N,M,n)}$$は以下のように求められる。 $${N}$$から$${n}$$個取り出す組み合わせは$${{}_NC_n}$$、$${M}$$個から$${x}$$個取り出される組み合わせは$${{}_MC_x}$$、同様に、$${N

          Dean＠Edinbu…

          超幾何分布の期待値、分散、モーメント母関数

          Dean＠Edinburgh

          二項分布の期待値、分散、モーメント母関数

          二項分布は、成功する確率を$${p}$$とし、失敗する確率を$${1-p}$$とした試行を$${n}$$回繰り返すベルヌーイの試行で与えられる。 $${n}$$回の内、$${x}$$回成功する確率は$${p^x}$$で、残りは失敗する確率は$${(1-p)^{n-x}}$$。また、$${n}$$回の内、$${x}$$回成功する組み合わせは$${{}_n C_x=\displaystyle{\frac{n!}{x!(n-x!)}}}$$より、確率密度関数関数は、$${f(x)=

          Dean＠Edinbu…

          二項分布の期待値、分散、モーメント母関数

          Dean＠Edinburgh

          離散一様分布の期待値と分散

          離散型確率的事象の$${U:\{1,\cdots,N\}}$$が同確率で起こる確率質量関数は、$${f(x)=\displaystyle{\frac{1}{N}}}$$で与えられる。 これから、期待値と分散は、 $${E[x]=\displaystyle{\sum\frac{x}{N}=\frac{1}{N}\frac{N(N+1)}{2}=\frac{N+1}{2}}}$$ $${E[x^2]=\displaystyle{\sum\frac{x^2}{N}=\frac{1}

          Dean＠Edinbu…

          離散一様分布の期待値と分散

          Dean＠Edinburgh

          確率統計：モーメント、モーメント母関数

          確率変数$${x}$$の期待値周りの$${k}$$次のモーメントを$${\nu_k=E[(x-E[x])^k]}$$と表す。原点周りの$${k}$$次のモーメントは、$${\mu_k=E[x^k]}$$となる。 よって、期待値と分散、歪度と尖度はこの$${k}$$次モーメントを使い、 期待値：$${E[x]=\mu_1}$$ 分散：$${V[x]=\mu_2-\mu_1^2}$$ 歪度：$${\text{Skw}=\displaystyle{\frac{E[x^3-3x^2

          Dean＠Edinbu…

          確率統計：モーメント、モーメント母関数

          Dean＠Edinburgh