まず、確率変数X、Yが独立であることの定義を行う。
X、Yが離散型確率変数の場合、同時確率分布\( P_{XY} \)、周辺確率分布\( P_X, P_Y \)について、次式が成り立つ場合、確率変数X、Yは独立という。
全ての\( x,y \)について
$$
P_{XY}(x, y) = P_X(x) P_Y(y)
$$
X、Yが連続型確率変数の場合、同時確率密度関数\( f_{XY} \)、周辺確率密度関数\( f_X, f_Y \)について、次式が成り立つ場合、確率変数X、Yは独立という。
全ての\( x,y \)について
$$
f_{XY}(x, y) = f_X(x) f_Y(y)
$$
確率変数X、Yが独立ならば、積の期待値について次式が成り立つ。
$$
E(XY) = E(X)E(Y)
$$
証明は期待値の定義を用いる。あやふやな方は次の記事を見てほしい。
手書きで証明する。
相関係数・無相関
相関係数\( \rho \)は次式で定義される。
$$
\rho = \frac{Cov(X, Y)}{\sqrt{V(X)V(Y)}}
$$
このように定義された相関係数\( \rho \)について、\( \rho = 0 \)ならば確率変数X、Yは無相関である。
共分散Cov(X, Y)について、次式が成り立っており
$$
Cov(X, Y) = E(XY) – E(X)E(Y)
$$
（※上の式については次の記事で証明している）
X、Yが独立の時、前節で見たように\( E(XY) = E(X)E(Y) \)が成り立っている。
ゆえに共分散Cov(X, Y)はX、Yが独立の時、
$$
\begin{eqnarray}
Cov(X, Y) &=& E(XY) – E(X)E(Y) \\
&=& E(X)E(Y) – E(X)E(Y) \\
&=& 0
\end{eqnarray}
$$
よってX、Yが独立の時、\( \rho = 0 \)となるので、無相関になる。
つまり、X、Yが独立ならばX、Yは無相関になる。
ただし、この逆、X、Yが無相関ならばX、Yは独立は必ずしも成り立たない。
（補足：無相関だが独立でない例は、下で紹介する赤本の第7章 練習問題7.3で紹介されている）
参考にした本
通称「赤本」と呼ばれている有名な良書。
コメント