最尤法の解説

最尤法については、計算が大変なので、大量の計算を見て複雑に思えてしまう。

なので、計算は全て後回しにして、説明と計算を分けて説明してみた。

最尤法の解説（計算は除く）
最尤法の計算
1. 1. 母数の関数である尤度関数L(θ)を求める
2. 尤度関数が最大になる時の母数の値θを求める
参考にした本

最尤法の解説（計算は除く）

やることは順番に次のようになる。

母数の関数である尤度関数L(θ)を求める
尤度関数が最大になる時の母数の値θを求める
求めやすいよう尤度関数の対数を取った対数尤度関数を求め、最大値を求めるため母数で微分（偏微分）し、＝0とおいた式を解く

尤度関数L(θ)は、ある標本が得られた時に、母数θの尤も（もっとも）らしさを評価する関数である。

θ=0.1の時の尤度関数の値がL(0.1)=0.21、θ=0.3の時の尤度関数の値がL(0.3)=0.56のような場合、θ=0.3のときのほうが尤度関数の値が大きいので、その時、得られた標本を鑑みて（その標本を生成した母集団確率分布の母数θとして）、θ=0.3の方が、より有り得る、確度が高いということだ。

結局、最尤法でやりたいことは、その時の標本を生成した母数として、最も尤も（もっとも）らしい母数θを求めることだ。

これは、尤度関数L(θ)が最大になるθの値を求めることになり、高校で習ったような関数の最大値を求める問題に帰着する。

関数の最大値のところでは、微分が0になるという性質を利用して解く。

対数尤度関数を求めるのは、対数を取る前の関数と、対数を取った後の関数では最大値を取る変数の値が等しいからである。

最尤法の計算

正規分布$ N(\mu, \sigma^2) $に従う母集団分布から得た標本の実現値が$x_1, x_2, \cdots, x_n $だったとする。

ここでは母数$ \mu $を推定する。

1. 母数の関数である尤度関数L(θ)を求める

尤度関数は標本を得る確率（のようなもの）を計算することで求められる。
ここで、（のようなもの）としたのは、確率密度の積の場合もあるからだ。

この場合、母数θは$\mu, \sigma^2$なので、$ f_N(x; \mu, \sigma^2) $を正規分布の確率密度関数として

$$
\begin{eqnarray}
L(\mu, \sigma^2) &=& f_N(x_1; \mu, \sigma^2) \cdot f_N(x_2; \mu, \sigma^2) \cdot \cdots \cdot f_N(x_n; \mu, \sigma^2) \\
&=& \prod_{k=0}^n f_N(x_k; \mu, \sigma^2) \\
&=& \prod_{k=0}^n \frac{1}{\sqrt{2 \pi \sigma^2}} \exp (- \frac{(x_k – \mu)^2}{2 \sigma^2})
\end{eqnarray}
$$