統計モデルと推測 第2章途中まで

1. 統計モデルと推測

統計モデルと推測 (データサイエンス入門シリーズ)

[進捗]

第２章　統計的推定　p.47 最尤推定まで　読んだ

・最尤推定のところ。結局よくわからない。最尤原理を採用する理由はもう少しちゃんと学ばないといけないな。

つまり「尤もらしい」θの値と言える。

・これを不変性というんだったかな(あいまい)。後で調べる。※現代数理統計の基礎(久保川)のp.122に証明あった。

現代数理統計学の基礎 (共立講座 数学の魅力)

θハットをθの最尤推定量とすれば、その関数h(θ)の最尤推定量はh(θハット)

・対数尤度関数を1階微分した導関数をスコア関数(score function)という。スコア関数の期待値は0。

・スコア関数の分散はフィッシャー情報量(Fisher information)。

・漸近正規性(asymptotic normality)。クラメール・ラオ不等式との関係については、ここでは記述なし。現代数理統計の基礎には色々書いてあったので、そっちを今度読もう。

・より一般的に、パラメータがk個の時には、最尤推定量は連立方程式の解になる。この連立方程式の解が普通に計算できれば、それを最尤推定量とすればいいが、解けないときにはニュートン・ラフソン法とかでやる。この場合でも、上の式が成り立つ。ただしI(θ)は行列になるので、I(θ)^-1とする。このI(θ)をフィッシャー情報量行列という。