ベイズ主義統計学
の本だけでは理解が及ばなかったので
歴史
事象間の関連性（因果関係を含む）を分析できるので、ECサイトにおけるレコメンドとかに使われている
また、可視化の方法としても有用（ベイジアンネットワーク）
ベイズ統計学とは、1763年にベイズが発表した確率の解釈（ベイズ主義）に基づいて理論化された統計学
現代に入り、以下の条件が揃ったことで、ベイズ推定（ベイズ定理に基づく確率の推定）が普及した
・ビッグデータが入手可能になった
・計算機の処理速度が上がった
・効率的で簡易的な計算方法が発明された（MCMC、変分推論）
ベイズ主義
頻度主義とベイズ主義の違い
①確率の解釈が異なる
・頻度主義：場合の数による定義（全事象の数え上げが必要）
・ベイズ主義：事象数を想定できなくても確率を考えることができる
②推定の手続が異なる
・頻度主義：値によりパラメータを推定する
・ベイズ主義：分布によりパラメータを推定する
③検定の手続が異なる
ベイズの定理
条件付き確率
ベイズ推定（概論）
ベイズ推定の考え方
得られたデータをもとに主観確率（確信度合い）を更新していく
①事前確率分布の設定：発生確率を知りたい事象に対して、主観で確率分布P(θ)を仮定する
②ベイズ更新（逐次推定）：取得した観測値Dに基づき、尤度P(D|θ)とP(D)を算出し、ベイズ定理を使って事後確率P(θ|D) を算出する
③②で得られた事後確率を事前確率として使い、新たな観測値に基づいてベイズ更新を繰り返していく
ベイズ定理
P(θ|D) = P(θ) * P(D|θ) / P(D)
・事後確率P(θ|D)： データDが得られた上でθが起こる確率（得られたデータに基づき更新される確率）
・事前確率P(θ)： θが起こる確率（主観で仮定する確率）
・尤度P(D|θ)： θが起きたときにデータDが得られる確率
・周辺尤度P(D)： データDが得られる確率
ベイズ推定における事前確率設定時の留意点
・データ数が少ない場合、推定で得られる事後分布の形状は、設定した事前分布の形状に影響を受ける
・データ数が大量になると、どんな事前分布を選んでいたとしても、事後分布は同じになっていく
最尤推定（頻度主義）とベイズ推定（ベイズ主義）の違い
○共通点
・頻度主義：パラメータを固定してデータを動かす
・最尤推定とベイズ推定：データを固定してパラメータを動かす
○相違点
・最尤推定：事前情報を使わない
・ベイズ推定：事前情報を使う
○長所
・最尤推定：データをその場で取るので信頼性がある
・ベイズ推定：少ない試行回数でもある程度は適切に推定できる、随時に確率を更新できる（今回得られた確率を次回の事前情報として活用できる）
○短所
・最尤推定：少ない試行回数だと極端な値をとることがある、とはいえここで100回200回と試行するのは時間がかかるし面倒
・ベイズ推定：事前情報が信頼できないかもしれない（上の例でいうと、1週間の間にコインに細工をしているかもしれない）
最尤推定は得られたデータのみで推定するので信頼性が高いが、データ数が少ないとランダム性に依存してしまう。それに対してベイズ推定は事前分布を生かして推測するので、少ないデータ数でもある程度適切な値を得ることができるが、事前情報の信頼が低いときは良い値が出ない。
最尤推定／MAP推定／ベイズ推定の比較
・最尤推定：尤度P(X|θ)を最大化するようなθ（例えばコイントスで表が出る確率）＝argmaxP(X|θ)を求める
・MAP推定（最大事後確率推定）：事後確率P(θ|X)を最大化するようなθ＝argmaxP(θ|X)を求める
・ベイズ推定：事後確率分布P(θ|X)を求める
最尤推定では事前確率を使わない
MAP推定とベイズ推定では事前確率を使う
共役分布
いくつかの尤度関数に対して、事前分布と事後分布の関数型が同一（共役分布）になることが判っている
事前分布として共役分布を利用できると、事後分布が計算しやすくなる（解析的に解けることが多くなる）
事後分布が解析的に算出できない場合は、近似的に求める（MCMC、変分推論など）
ベイジアンネットワーク
予測分布
88
ベイズ推定（各論）
モデルにベルヌーイ分布を使える場合
コイントスで表が出る確率pを推定する
推定の手順
①モデル（尤度と事前確率分布）を仮定する
②事後分布を算出する
③予測分布を算出する
モデルを仮定する
・尤度P(x|p)：ベルヌーイ分布
・事前確率分布P(p)：ベータ分布
ベイズ統計学における仮説検定
○ベイズ統計学を用いるメリット
・ベイズ統計学を用いるメリットは平均・分散といったパラメタの確率分布を求められる点にあります。
例えば、実験Aと実験Bの平均値に差があるか？という問題があったとします。
一般的な統計学では、帰無・対立仮説、有意水準を設定し、検定統計量と有意水準の大きさを比較して・・・、ということを行いますが、ベイズ統計学では、差の確率分布を直接求めることができます。
|実験Aの平均 – 実験Bの平均|>0 である確率は〇〇％。
(実験Aの平均 – 実験Bの平均)＞0 である確率は△△％
といったように、非常に直感的に解釈がしやすい結果を得ることが可能になります。これが、ベイズ統計学を用いるメリットの1つになります。
・事前にパラメタの確率分布の知識を持っていれば、少数のデータでもある程度の精度を保った推定が行えることにあります。
○ベイズ統計学のデメリット
・ベイズ統計学を扱うためには、MCMC（マルコフ連鎖モンテカルロ法）という乱数生成アルゴリズムを用いる必要があります。プログラミングを行う必要があるため、初学者が気軽に扱えないという点がデメリットになります。
・頻度論における仮説検定：ネイマンピアソンの基本定理に基づく
・ベイズ主義における仮説検定
ベイズ統計における仮説検定の長所短所
・長所
仮説が成り立つ確率を直接計算できる。この確率は、分析者が真に知りたい確率である。
・短所
事前分布の設定や事前確率の割り当てなど、自分で決定することが多いので、客観性に欠ける。
ベイズ統計では主に以下の3つの手法が代表的なものとなっております。
・事後確率による検定
・事後オッズ比による検定
・ベイズ因子による検定
統計分析ツールjamovi
頻度主義における帰無仮説検定は非常に複雑な仕組みで，多くの人が理解に苦しむからです。これとは対照的に，ベイズ統計のアプローチでは仮説検定も恐ろしく単純です。従来型の仮説検定のシナリオとよく似た場面を1つ例に挙げましょう。そこには比較したい2つの仮説があります。それは帰無仮説（h0）と対立仮説（h1）です。実験を始める前，私たちはどちらの仮説が真実かということについて何らかの信念（P(h)）を持っています。そして実験を行ってデータ（d）を得ました。頻度主義統計と違い，ベイズ統計では帰無仮説が真である確率について話すことができます。さらに，ベイズ統計ではベイズの定理を使用して帰無仮説の事後確率を計算することもできます。この式は，データ（d）を得た後に私たちの帰無仮説に対する信念がどうなったかをズバリ教えてくれるものです。対立仮説に対する信念についても同じ式で計算することができます。添え字を変えてやるだけです。
本記事では、次の 3 つの統計指標を使った検定を同一の問題設定に対し適用し、結論がどのように変わるのかを比べてみました。
・p値による検定
・ベイズ信用区間による検定
・ベイズファクターによる検定
ベイズ統計モデリング
MCMC（マルコフ連鎖モンテカルロ法）
ベイジアンネットワーク
ベイズ機械学習
応用技術
参考情報
この記事が気に入ったらサポートをしてみませんか？