統計学習メモ:分散、共分散
データ分析の勉強をしていると期待値や分散の計算は非常によく使う。ほとんどこればっかりやっている感じ。 なので期待値や分散の性質は、一度納得したら覚えておくとスムーズ。 本記事では分散、共分散の定義や性質をまとめます。期待値のまとめはこちらから統計学習メモ:期待値 - 無粋な日々に
※本記事の定義や式の展開はソラで書いています。違和感や間違いがありましたら教えてもらえると嬉しいです。
定義
分散の定義
分散は変数の平均(重心)からの距離の期待値で定義される。変数の散らばりの程度を表すような統計量。 変数 の分散は
で定義される。ここで]はに関して期待値をとる操作を表す。どの変数に関して期待値を取るかが明確な場合は省略して]と表記することにする
共分散の定義
中心化された2変数の積の期待値で定義される。共分散は2変数の類似度を表すような統計量。 変数 の共分散は
で定義される。共分散をとの標準偏差で正規化すると相関係数になる。分散は共分散ののケースといえる
よく使う性質
1. 定数倍
変数を定数した変数の分散は、の分散の倍になる。つまりを定数とすると次が成り立つ
2. 分散公式
分散は(二乗の期待値) - (期待値の二乗) で計算できる。分散公式と呼ばれているらしい
次の展開を行えば導ける
分散は共分散ののケースと考えられるため、分散公式は共分散を以下のように展開し と考えても導ける
のとき
2. 独立な2変数の共分散は0
変数 とが独立なとき となる
ここでが互いに独立のときが成立するため
となり
3.分散の和
和の変数の分散は、分散の和 から共分散の2倍を足したものになる。つまり
ここでが互いに独立のときとなるため
分散の和についての導出は
展開では以下を用いている
- 1行目は分散公式
- 1行目から2行目、2行目から3行目は期待値の線形性とを利用
- 3行目から4行目は分散公式、分散・共分散の定義