\[
\newcommand{\bs}{\boldsymbol}
\newcommand{\der}{\partial}
\newcommand{\defeq}{\overset{\text{def}}{=}}
\]
参考にした本・お願い
この記事の内容は「数理統計学: 統計的推論の基礎」という本の内容を参考にしています。
また、記事について間違い等あればコメントで教えてください。
導入①
「フィッシャー情報量」と「クラメール・ラオの不等式」は推定量に関する概念です。
母集団から標本をランダムに抽出し、標本を使って母集団分布の真のパラメータ（母平均や母分散など）を推測する文脈での話になります。
n個ランダムに抽出した標本は一般的に\( X_1, X_2, \cdots, X_n \)と表され、抽出のたびに個々の\(X_i\)は変わるので、\(X_i\)は確率変数であるということに注意が必要です。
さらに言えば、\(X_i\)が従う分布は母集団分布です。
（豆知識：母集団分布の真のパラメータである母平均や母分散は、通常飾りの無いギリシャ文字\(\mu\)や\(\sigma^2\)で表され、飾りのある\(\hat{\mu}\)のような文字は推定量を表すことが多いです。）
導入②
母集団分布の真のパラメータを推測するとき、\(\mu\)は10～70くらいだろうと推定できるより、\(\mu\)は38～42と推定できる方が精度が良いと言えます。
つまり推定量の分散は基本的に小さければ小さいほど良いということです。
分散が小さいことの他に、平均すると真のパラメータに近くなる性質「不偏性」も重要ですが、「不偏性」については今回は考えません。
不偏推定量については、分散の最小値を示す不等式があります。それがクラメール・ラオの不等式です。クラメール・ラオの不等式は、不偏推定量をどのように作ったとしても、ある一定の値より分散を小さくできないという限界を表す不等式です。
そして、その限界値がフィッシャー情報量という数式の逆数になっている、というのが全体の話の流れです。
【定理】クラメール・ラオの不等式
クラメール・ラオの不等式が成り立つためには前提条件が4つあります。
前提条件①
$$
\frac{\der f_X(\bs{x} : \theta)}{\der \theta} \tag{1}
$$
がすべての\( \bs{x} \in D_X \)に対して存在する。
注意：\( \bs{x} \)はベクトルなので\( f_X(\bs{x} : \theta) \)は同時確率密度関数です。
前提条件②
$$
\frac{d}{d\theta} \int_{D_X} f_X(\bs{x} : \theta) d\bs{x}
= \int_{D_X} \frac{\der f_X(\bs{x} : \theta)}{\der \theta} d\bs{x}
\tag{2}
$$
注意：\( \int_{D_X} \)は多重積分\( \int_{D_{X_1}} \int_{D_{X_2}} \cdots \int_{D_{X_n}} \)の略記です。また\( d\bs{x} \)は\( dx_1 dx_2 \cdots dx_n \)の略記です。
(2)の式は微分と積分の順序を交換できることを示しています。
前提条件③
全ての\( \theta \)に対して
$$
\int_{D_X} \left( \frac{\der log f_X(\bs{x} : \theta)}{\der \theta} \right)^2 f_X(\bs{x} : \theta) d\bs{x} \tag{3}
$$
が存在する。
前提条件④
$$
\frac{d}{d\theta} \int_{D_X} \hat{\theta} f_X(\bs{x} : \theta) d\bs{x}
= \int_{D_X} \hat{\theta} \frac{\der f_X(\bs{x} : \theta)}{\der \theta} d\bs{x}
\tag{4}
$$
(4)の式も微分と積分の順序を交換できることを示している。
結論
この4つの前提条件を満たしたとき、次のクラメール・ラオの不等式が成り立つ。
$$
var[\hat{\theta}] \geq \frac{1}{E \left[ \left( \frac{\der log f_X(\bs{X} : \theta)}{\der \theta} \right)^2 \right]}
$$
この不等式の\(E \left[ \left( \frac{\der log f_X(\bs{X} : \theta)}{\der \theta} \right)^2 \right] \)の部分がフィッシャー情報量です。
【証明】クラメール・ラオの不等式
以下、手書きで証明する。
コメント