Rと数式による最尤推定法の解説

はじめに

統計的推論の基本は最尤推定法である。当たり前過ぎて考えないですが、平均値や分散も推定値は最尤推定法により導出されたものです。よって、最尤推定法は統計的推論のファンダメンタル（基盤）として重要な役割を担っています。

最尤推定

最尤推定法は尤度関数を最大にするようなパラメータを見つける一連の手続きである。

一連の手続きを以下に少し詳しく書いてみる

ます尤度関数を定義する。

$$
L(\theta ;y) = \Pi_{i=1}^n f(y_i |\theta)
$$

しかし、これは積の連続になるので計算が面倒くさい。そこで、対数を取る。これを対数尤度関数といいます。

最大値を見つけるのが目的なので、尤度関数をごりごり微分せずとも対数変換した尤度関数を使っても変わらない。

対数変換した尤度関数を対数尤度関数と呼ぶ。数式で表現すると以下のようになります。

$$
logL (\theta ;y) = \Sigma_{i=1}^n \log f(y_i |\theta)
$$

ここで、最大値を見つけるため、対数尤度関数を微分して0にして、$\theta$について解きます。そこが最大値であり、すなわち最尤推定量が得られることになります。
なお、対数尤度関数を微分したものをスコア関数$U(\theta)$といいます。

ところで、これは関数の極大値を求めることなので、最適化問題としても捉えることができます。