無粋な日々に

頭の中のメモ。分からないことを整理する

統計学習メモ：分散、共分散

確率 統計 高校数学 データ分析

データ分析の勉強をしていると期待値や分散の計算は非常によく使う。ほとんどこればっかりやっている感じ。 なので期待値や分散の性質は、一度納得したら覚えておくとスムーズ。 本記事では分散、共分散の定義や性質をまとめます。期待値のまとめはこちらから統計学習メモ：期待値 - 無粋な日々に

※本記事の定義や式の展開はソラで書いています。違和感や間違いがありましたら教えてもらえると嬉しいです。

定義

分散の定義

分散は変数の平均（重心）からの距離の期待値で定義される。変数の散らばりの程度を表すような統計量。 変数 X の分散は


\begin{align}

\operatorname{Var}_{X}[X] &=E_{X}[X-E_{X}[X]^{2}]\\
&=E_{X} [ \left(X-\mu_{X}\right)^{2}] \\
&=\int_{\mathbb{R}}\left(X-\mu_{X}\right)^{2} p(x)dx

\end{align}

で定義される。ここで E_{X}[\cdot]は Xに関して期待値をとる操作を表す。どの変数に関して期待値を取るかが明確な場合は省略して E[\cdot]と表記することにする

共分散の定義

中心化された2変数の積の期待値で定義される。共分散は2変数の類似度を表すような統計量。 変数 X, Yの共分散は


\begin{align}

\operatorname{Cov}(X, Y) &=E_{XY}[(X-E_{X}[X])(Y-E_{Y}[Y])] \\
&=E_{XY}[\left(X-\mu_{X}\right)\left(Y-\mu_{Y}\right)] \\
&=\iint_{\mathbb{R}}\left(x-\mu_{x}\right)\left(y-\mu_{y}\right) p(x, y) d x d y

\end{align}

で定義される。共分散を Xと Yの標準偏差で正規化すると相関係数になる。分散は共分散の X=Yのケースといえる

よく使う性質

1. 定数倍

変数 Xを定数した変数 kXの分散は、 Xの分散の k^{2}倍になる。つまり kを定数とすると次が成り立つ



\operatorname{Var}[kX]  =k^{2}\operatorname{Var}[X]

2. 分散公式

分散は(二乗の期待値) - (期待値の二乗) で計算できる。分散公式と呼ばれているらしい


\operatorname{Var}[X]  =E[X^{2}]-E[X]^{2}

次の展開を行えば導ける


\begin{align}

\operatorname{Var}[X] &=E [X-E[X]^{2}] \\
&=E[ \left(X-\mu_{X}\right)^{2}] \\
&=E[X^{2}-2 X \mu_{X}+\mu_{X}^{2}] \\
&=E[X^{2}]-2 \mu_{X} E[X]+\mu_{X}^{2} \\
&=E[X^{2}]-E[X]^{2}

\end{align}

分散は共分散の X=Yのケースと考えられるため、分散公式は共分散を以下のように展開し X = Y と考えても導ける


\begin{aligned}

\operatorname{Cov}(X, Y) &=E_{XY}[(X-E_X[X])(Y-E_Y[Y])] \\
&=E_{XY}[\left(X-\mu_X\right)\left(Y-\mu_Y\right)] \\
&=E_{XY}[\left(XY - X\mu_Y - Y\mu_X + \mu_X\mu_Y\right)] \\
&=E_{XY}[XY] - E_X[X]\mu_Y - E_Y[Y]\mu_X + \mu_X\mu_Y \\
&=E_{XY}[XY] - \mu_X\mu_Y \\
&=E_{XY}[XY] - E_X[X]E_Y[Y]

\end{aligned}

X = Yのとき


\begin{aligned}

\operatorname{Var}[X]  &=\operatorname{Cov}(X, X) \\
&= E_{X}[X \cdot X] - E_X[X]E_X[X] \\
&=E[X^{2}]-E[X]^{2}

\end{aligned}

2. 独立な2変数の共分散は0

変数 X と Yが独立なとき \operatorname{Cov}(X, Y) = 0 となる


\begin{aligned}

\operatorname{Cov}(X, Y) &=E_{XY}[XY] - E_X[X]E_Y[Y]

\end{aligned}

ここで X, Yが互いに独立のとき p(x, y) = p(x)p(y)が成立するため


\begin{aligned}
E_{XY}[XY] &= \iint{xyp(x, y)}dxdy \\
&=\iint{xyp(x)p(y)}dxdy \\
&=\int{y\left[\int{xp(x)}dx\right]p(y)}dy \\
&=\mu_X\int{yp(y)}dy \\
&=\mu_X\mu_Y \\
&=E_X[X]E_Y[Y] \\

\end{aligned}

E_{XY}[XY] = E_X[X]E_Y[Y] となり \operatorname{Cov}(X, Y) = 0

3.分散の和

和の変数 X+Yの分散は、分散の和 Var[X] + Var[Y] から共分散の2倍を足したものになる。つまり


\begin{align}

\operatorname{Var}_{XY}[X+Y] =\operatorname{Var}_{X}[X]+\operatorname{Var}_{Y}[Y]+2 \operatorname{Cov}(X, Y)

\end{align}

ここで X, Yが互いに独立のとき \operatorname{Cov}(X, Y) = 0となるため


\operatorname{Var}_{XY}[X+Y] = \operatorname{Var}_{X}[X] + \operatorname{Var}_{Y}[Y]

分散の和についての導出は


\begin{align}

\operatorname{Var}_{XY}[X+Y] &=E_{XY}[(X+Y)^{2}]-E_{XY}[X+Y]^{2} \\
&=E_{XY}[X^{2}+2 XY+Y^{2}]-(E_{X}[X]+E_{Y}[Y])^{2} \\
&=E_{X}[X^{2}]+2 E_{XY}[XY]+E_{Y}[Y^{2}]-E_{X}[X]^{2}-2E_{X}[X] E_{Y}[Y] - E_{Y}[Y]^{2}  \\
&=(E_{X}[X^{2}]-E_{X}[X]^{2})+(E_{Y}[Y^{2}]-E_{Y}[Y]^{2}) + 2(E_{XY}[XY]-E_{X}[X]E_{Y}[Y])\\
&=\operatorname{Var}_{X}[X]+\operatorname{Var}_{Y}[Y]+2 \operatorname{Cov}(X, Y)

\end{align}

展開では以下を用いている

  • 1行目は分散公式
  • 1行目から2行目、2行目から3行目は期待値の線形性と E_{XY}[X] = E_{X}[X] を利用
  • 3行目から4行目は分散公式、分散・共分散の定義

はてなブログのTEX入力がQiitaとくらべてすごく面倒ですね。。。すごく時間かかります。日々精進