無粋な日々に

頭の中のメモ。分からないことを整理する

時系列分析：移動平均過程（MAモデル）の性質と定常性

データ分析 統計 時系列分析 確率過程

時系列分析では、系列の統計量が時点tに依存しないというシンプルな構造が基本となっています。まず定常性の元に基本的なモデルが構築され、そこから非定常のモデルに拡張されていくようです。そのため「定常かどうか」を議論されることが多いです。本投稿ではMA(q)モデルの性質と定常性を確認します。

定常性

我々が定常性を見る場合、以下2つのケースがあると思います

  1. データの定常性の確認（定常性の推定）

  2. モデルの定常性の確認

前者は観測したデータの構造を理解して、モデル化出来る構造があるかどうか見る際に行います。グラフを確認したり、検定したりです。後者は色々な時系列モデルの性質を理解するために行います。この際モデルは定式化されているので、その式を展開し、定常性の条件を満たしているか確認します。この投稿では[2]の定常性確認をMA(q)モデルに対して行います。

定常性の定義

\muを任意の定数とすると


\begin{eqnarray}
&E[y_t] = \mu \tag{1}\\
\\
&\operatorname{Cov}(y_t, y_{t+k}) = \gamma_k \tag{2}\\
\end{eqnarray}

を満たす時、その系列は弱定常といえます。tは時点、\gammaは自己共分散、kは時点のラグを表します。言葉でいうと系列の期待値と自己共分散が時点tに依存しない ということです。自己共分散は\gamma_kの下付きkは時刻tに依存してないが、ラグkには依存しても良いという気持ちが現れているのでしょう

移動平均過程 MA(q)​の性質と定常性

ここから移動平均過程の性質と定常性について、一つ一つ確認していきます。

移動平均過程 MA(q)​とは

移動平均過程では、現在の値y_t は過去のノイズからの影響を引きずっている（記憶している）と仮定します。 ここでは次のように定義します。



\begin{align}
&y_t = \beta_0\varepsilon_t + \beta_1\varepsilon_{t-1} + .. + \beta_q\varepsilon_{t-q} \\
\\
&\varepsilon_t \sim W.N.(0, \mu)

\end{align}

ここで\varepsilon_tはホワイトノイズ

直感的に理解しにくいですが、以下に具体例としてスーパーマーケットの売上の例が書いてあります。

time series - Real-life examples of moving average processes - Cross Validated

リンクでは分析者が知らないところで発行されている裏クーポンがあるケースを考えています。分析者はクーポンの存在を知らないため、このクーポンによる売上増加は分析者からノイズに含まれて見えます。ノイズは裏クーポン有効開始日に跳ね上がって、徐々に減衰していきます。売上はこのノイズの影響を受け、自己相関関係が生まれます。MA(q)はこういった構造を記述できるようです。

ma(q) モデルの性質と定常であるか確認してみます。

1. 期待値

移動平均過程y_tの期待値をとってみるだけです


\begin{align}
E[y_t] &= E[\beta_0\varepsilon_t + \beta_1\varepsilon_{t-1} + .. + \beta_q\varepsilon_{t-q}] \\
& = E[\beta_0\varepsilon_t] + E[\beta_1\varepsilon_{t-1}] + ... + E[\beta_q\varepsilon_{t-q}] \\
& = \beta_0E[\varepsilon_t] + \beta_1E[\varepsilon_{t-1}] + ... + \beta_qE[\varepsilon_{t-q}] 
\\
& = 0
\end{align}

これは常に0で一定なので、期待値は時点tに依存しません

式展開では期待値の線形性と \varepsilon_t \sim W.N(0, \mu) なので E[\varepsilon_t] = 0を使っています。

統計学習メモ：期待値 - 無粋な日々に

2. 自己共分散

MA(q)​のラグkでの自己共分散\operatorname{Cov}(y_t, y_{t+k})は以下の様に書き下せます


\begin{eqnarray}

\operatorname{Cov}(y_t, y_{t+k}) &= E[y_ty_{t+k}]  - E[y_t]E[y_{t+k}] \\
&= E[(\beta_0\epsilon_t + \beta_1\epsilon_{t-1} + .. + \beta_q\epsilon_{t-q})
(\beta_0\epsilon_{t+k} + \beta_1\epsilon_{t+k-1} + .. + \beta_q\epsilon_{t+k-q})] \tag{3}\\

\\
 &= E\left(
\begin{array}{l}
\beta_{0}\beta_{0} \varepsilon_{t} \varepsilon_{t+k}+\beta_{0} \beta_{1} \varepsilon_{t} \varepsilon_{t+k-1}+\cdots+\beta_{0} \beta_{q} \varepsilon_{t} \varepsilon_{t+k-q} \\
\hspace{4cm} + \\
\beta_{1} \beta_{0} \varepsilon_{t-1} \varepsilon_{t+k}+\beta_{1}\beta_{1} \varepsilon_{t-1} \varepsilon_{t+k-1}+\cdots+\beta_{1} \beta_{q} \varepsilon_{t-1} \varepsilon_{t+k-q}\\
\vdots  \hspace{3.7cm} + \hspace{4cm} \vdots \\
\beta_{q}\beta_{0} \varepsilon_{t-q} \varepsilon_{t+k} + \beta_{q}\beta_{1} \varepsilon_{t-q} \varepsilon_{t+k-1}+\cdots+\beta_{q} \beta_{q} \varepsilon_{t-q} \varepsilon_{t+k-q}
\end{array}
\right)　\tag{4}
\end{eqnarray}

統計学習メモ：分散、共分散 - 無粋な日々に

式(4)の括弧の中は、式(3)の多項式の積の展開を行列の様に縦に方向に積み上げて表記したものです。なので式(4)の括弧の中の項をすべて足し合わせ、期待値をとったものが\operatorname{Cov}(y_t, y_{t+k})になります。

ここでホワイトノイズの性質から次が成り立ちます


\begin{align}
E[\varepsilon_i\varepsilon_j]
&= 
\left\{
\begin{array}{ll}
E[\varepsilon_i^2] = \sigma^2 & i = j \\
\tag{5}\\
E[\varepsilon_i]E[\varepsilon_j] = 0 & i\neq j
\end{array}
\right.

\end{align}

つまり式(4)の括弧の中にある、例えば最初の項\beta_{0}\beta_{0} \varepsilon_{t} \varepsilon_{t+k}を考えると、2つの\varepsilonの下付きのtとt+kが一致しない場合、この項の期待値は0になります。結局2つの\varepsilonの下付きの値が一致する項のみを考慮すれば良いことになります。\varepsilonの下付きの値が一致する項はどういう時に現れるでしょうか。具体例で見てみます。

MA(2), k=0の場合：

2次の移動平均過程のラグが2での例をみてみます。つまりMA(q=2), k=0の自己共分散は

式(4)にq=2, k=0を代入して


\begin{eqnarray}
\operatorname{Cov}(y\_t, y\_{t})

&= E\left(

\begin{array}{l}

\beta_{0}\beta_{0} \varepsilon_{t} \varepsilon_{t}\ \ \ +
\beta_{0} \beta_{1} \varepsilon_{t} \varepsilon_{t-1}\ \ \ +
\beta_{0} \beta_{2} \varepsilon_{t} \varepsilon_{t-2} \\
\hspace{4cm}＋\\
\beta_{1} \beta_{0} \varepsilon_{t-1} \varepsilon_{t}+
\beta_{1}\beta_{1} \varepsilon_{t-1} \varepsilon_{t-1}+
\beta_{1} \beta_{2} \varepsilon_{t-1} \varepsilon_{t-2}\\
\hspace{4cm}＋\\
\beta_{2}\beta_{0} \varepsilon_{t-2} \varepsilon_{t} + 
\beta_{2}\beta_{1} \varepsilon_{t-2} \varepsilon_{t-1}+
\beta_{2} \beta_{2} \varepsilon_{t-2} \varepsilon_{t-2}

\end{array}
\right)　\tag{4-0}
\end{eqnarray}

2つの\varepsilonの下付きの値が一致するのは、括弧内の対角にある項のみで


\begin{align}
\operatorname{Cov}(y_t, y_{t}) 
&= E[\beta_{0}\beta_{0} \varepsilon_{t} \varepsilon_{t}] + 
E[\beta_{1}\beta_{1} \varepsilon_{t-1} \varepsilon_{t-1}] +
E[\beta_{2} \beta_{2} \varepsilon_{t-2} \varepsilon_{t-2}]\\

&= \beta_{0}\beta_{0}E[\varepsilon_{t} \varepsilon_{t}] + 
\beta_{1}\beta_{1}E[ \varepsilon_{t-1} \varepsilon_{t-1}] +
\beta_{2} \beta_{2}E[ \varepsilon_{t-2} \varepsilon_{t-2}]\\

&= \beta_{0}\beta_{0}\sigma^2 + 
\beta_{1}\beta_{1}\sigma^2 +
\beta_{2} \beta_{2}\sigma^2\\

&= \sigma^2\sum_{i}^2\beta_{i}\beta_{i}
\end{align}

2行目から3行目の展開は式(5)を利用しています。

MA(2), k=1の場合：

同様にma(q=2), k=1の自己共分散は、式(4)にq=2, k=1を代入すると


\begin{align}
\operatorname{Cov}(y_t, y_{t+1})

&= E\left(

\begin{array}{l}

\beta_{0}\beta_{0} \varepsilon_{t} \varepsilon_{t+1}\ \ \ +
\beta_{0} \beta_{1} \varepsilon_{t} \varepsilon_{t}\ \ \ +
\beta_{0} \beta_{2} \varepsilon_{t} \varepsilon_{t-1} \\
\hspace{4cm}＋\\
\beta_{1} \beta_{0} \varepsilon_{t-1} \varepsilon_{t+1}+
\beta_{1}\beta_{1} \varepsilon_{t-1} \varepsilon_{t}+
\beta_{1} \beta_{2} \varepsilon_{t-1} \varepsilon_{t-1}\\
\hspace{4cm}＋\\
\beta_{2}\beta_{0} \varepsilon_{t-2} \varepsilon_{t+1} + 
\beta_{2}\beta_{1} \varepsilon_{t-2} \varepsilon_{t}+
\beta_{2} \beta_{2} \varepsilon_{t-2} \varepsilon_{t-1}

\end{array}
\right)　\tag{4-1}\\
\\
&= E[\beta_{0}\beta_{1} \varepsilon_{t} \varepsilon_{t}] + 
E[\beta_{1} \beta_{2} \varepsilon_{t-1} \varepsilon_{t-1}]\\
\\
&= \beta_{0}\beta_{1}\sigma^2 + 
\beta_{1} \beta_{2}\sigma^2\\

&= \sigma^2\sum_{i}^{1}\beta_{i}\beta_{i+1}

\end{align}

MA(2), k=2の場合：

同様に式(4)にq=2, k=2を代入して


\begin{align}
\operatorname{Cov}(y_t, y_{t+2})

&= E\left(

\begin{array}{l}

\beta_{0}\beta_{0} \varepsilon_{t} \varepsilon_{t+2}\ \ \ +
\beta_{0} \beta_{1} \varepsilon_{t} \varepsilon_{t+1}\ \ \ +
\beta_{0} \beta_{2} \varepsilon_{t} \varepsilon_{t} \\
\hspace{4cm}＋\\
\beta_{1} \beta_{0} \varepsilon_{t-1} \varepsilon_{t+2}+
\beta_{1}\beta_{1} \varepsilon_{t-1} \varepsilon_{t+1}+
\beta_{1} \beta_{2} \varepsilon_{t-1} \varepsilon_{t}\\
\hspace{4cm}＋\\
\beta_{2}\beta_{0} \varepsilon_{t-2} \varepsilon_{t+2} + 
\beta_{2}\beta_{1} \varepsilon_{t-2} \varepsilon_{t+1}+
\beta_{2} \beta_{2} \varepsilon_{t-2} \varepsilon_{t}

\end{array}
\right)　\tag{4-2}\\
\\
&= E[\beta_{0}\beta_{2} \varepsilon_{t} \varepsilon_{t}]\\
\\
&= \beta_{0}\beta_{2}\sigma^2\\

&= \sigma^2\sum_{i=0}^{0}\beta_{i}\beta_{i+2}

\end{align}

MA(2), k=3の場合：

さらにk=3でも自己共分散を見てみましょう


\begin{align}
\operatorname{Cov}(y_t, y_{t+3})

&= E\left(

\begin{array}{l}

\beta_{0}\beta_{0} \varepsilon_{t} \varepsilon_{t+3}\ \ \ +
\beta_{0} \beta_{1} \varepsilon_{t} \varepsilon_{t+2}\ \ \ +
\beta_{0} \beta_{2} \varepsilon_{t} \varepsilon_{t+1} \\
\hspace{4cm}＋\\
\beta_{1} \beta_{0} \varepsilon_{t-1} \varepsilon_{t+3}+
\beta_{1}\beta_{1} \varepsilon_{t-1} \varepsilon_{t+2}+
\beta_{1} \beta_{2} \varepsilon_{t-1} \varepsilon_{t+1}\\
\hspace{4cm}＋\\
\beta_{2}\beta_{0} \varepsilon_{t-2} \varepsilon_{t+3} + 
\beta_{2}\beta_{1} \varepsilon_{t-2} \varepsilon_{t+2}+
\beta_{2} \beta_{2} \varepsilon_{t-2} \varepsilon_{t+1}

\end{array}
\right)　\tag{4-2}\\
\\
&= 0


\end{align}

k = 3では\varepsilonの下付きが一致する項は存在しないので、すべての項の期待値は0になります。MA過程の次数qより大きいラグk（k > q）での自己共分散は0になります

一般に:

MA(q)の自己共分散は、k \leq qにおいて


\operatorname{Cov}(y_t, y_{t+k}) = \sigma^2\sum_{i=0}^{q-k}\beta_{i}\beta_{i+k}　=\gamma_k

k > qでは0になります。自己共分散はラグkにのみ依存してtに依存しません

3. 分散

分散は共分散のk=0の場合なので


\gamma_0 = \sigma^2\sum_{i=0}^{q}\beta_{i}^2

4. 自己相関係数

さらに自己相関係数は、共分散を分散で正規化したものなので


\rho_k = \frac{\gamma_k}{\gamma_0} = \frac{\sum_{i=0}^{q-k}\beta_i\beta_{i+k}}{\sum_{i=0}^{q}\beta_i^2}

5.MA(q)の定常性

MA(q)の期待値と自己共分散は時点tに依存しないため、移動平均過程は弱定常であるといえます

まとめ

移動平均過程MA(q) y_{t} = \beta_{0}\varepsilon_{t} + \beta_{1}\varepsilon_{t-1} + .. + \beta_{q}\varepsilon_{t-q} において

統計量 値
期待値 \mu = E[y_t = 0]
自己共分散 \gamma_k = \operatorname{Cov}(y_t, y_{t+k}) = \sigma^{2}\sum_{i=0}^{q-k}\beta_{i}\beta_{i+k}
分散 \gamma_0 = \operatorname{Var}(y_{t}) = \sum_{i=0}^{q}\beta_{i}^{2}
自己相関 \rho = \frac{\gamma_{k}}{\gamma_{0}} = \frac{\sum_{i=0}^{q-k}\beta_{i}\beta_{i+k}}{\sum_{i=0}^{q}\beta_i^{2}}
定常性 常に弱定常を満たす

以上です。時系列モデルは頭が混乱します。日々精進

参考