時系列解析入門

$\require{AMScd,amsmath,amssymb,amsfonts,amscd}$

$\require{color}$

key words：時系列解析 , 　ブラウン運動( Brownian Motion) ,AR過程

今回のテーマは時系列解析です。

時系列解析の目的は、確率的に変化する情報（確率変数）を時刻ごとに

追って分析することです。数学、物理学、経済学などの各分野で実用の

機会も多い題材です。今回はその中でも最も単純な例である、

ホワイトノイズ
ブラウン運動
AR(1)過程

について、基本的なことをまとめます。予備知識は仮定しませんので

ご心配なく。

時系列解析

統計学のおさらい

このセクションでは、時系列解析で広く使われている統計学のツールを導入します。

まずは時系列解析の対象である、時刻ごとに変化し、しかも確率的である情報　というものをはっきりさせる必要があります。そこで次の定義を採用します。

definition

$t= 0,\pm1,\pm2,\cdots$ を時刻として, 各 $t$ に対して、割り当てられた　

実数値確率変数　 $X_t (t=0,\pm1,\pm2,\cdots)$ があるとき、これを時系列データ　

という。

$X_0$ が例えば現在の情報であるなら、 $X_{ \textcolor{red}{1}}$ は1秒後の情報、 $X_{ \textcolor{red}{-1}}$

は1秒前の情報と理解すればよいです。時系列解析によって、現在の情報、及び過去

の情報から、未来の情報を予測（＝確率的に知る）できるわけです。

さて、確率変数 $X$ が与えられたとき、その平均、分散を考えることができます。

それらをそれぞれ

$\begin{equation} {\mathbb E}[X] , {\mathbb V} [X] \end{equation}$

と書くことにします。これらは1つの確率変数に対して定まる量ですが、時系列解析

では無限個の確率変数が登場しているため、２つの確率変数　（例えば、現在 $X_0$ と１秒後 $X_1$ ）に対して定まる量も重要になります。特に、共分散は、時系列解析で特に重要です。共分散は、 ${\mathbb R^2}$ 上の確率変数 $(X,Y)$ に対して次で

定義されます

$\text{Cov}[X,Y ]$

$={\mathbb E}[(X-{\mathbb E}[X])(Y-{\mathbb E}[Y])].$

また共分散をー１から１の間に入るよう正規化した相関係数は次で与えられます

$\rho(X,Y)=\frac{ \text{Cov} [X,Y]}{ \sqrt{{\mathbb V} [X] {\mathbb V} [Y] }}$ .

この数字が１に近いとき、[ ex:X,Y]は協調関係にあり（つまり、 $X,Y$ の大小が同時に起きる）、また-1に近いときトレード・オフの関係（つまり、 $X,Y$ の大小が相反的に起こる）になります。

今回は主に時系列データ[tex; X_t]および時刻 $t,t'$ に対して $(X_t,X_{t'})$ の共分散をしばしば考えます。これを自己共分散（autocovariance）といいます。

このセクションの最後に正規分布の再生性をおさらいします

Theorem

確率変数の組 $(X_1,X_2)$ があり、各 $X_i (i=1,2)$ が平均 $\mu_i$ 、分散 $\sigma^2_i$ の正規分布 $N(\mu_1,\sigma_1^2)$ に従っているとする。このとき、確率変数 $X_1\pm X_2$ は正規分布 $N(mu_1 \pm \mu_2,\sigma^2_1+\sigma^2_2)$

に従う。

定常性

さてここでは、時系列データに対して定常性(stationarity)という概念を定めます。

定常というのは、より詳しくは時刻に関して一定であるという意味だと考えてください。それでは定義。

definition

時系列データ $X_t (t=0,\pm 1,\pm 2,\cdots)$ が定常であるとは次の3条件

(SA) ${\mathbb E}[X_t]$ は $t$ に依らない
(SV) ${\mathbb V}[X_t]$ は $t$ に依らない
(SAC) $\text{Cov}[X_t,X_{t'}]$ は差の絶対値 $|t-t'|$ のみに依存する

が満たされるときをいう。☐

以降この記事の中では、条件(SA)/(SV)/(SAC)をそれぞれ定常平均を持つ /定常分散を持つ/定常自己相関を持つ、と呼びますが一般的な呼称でないこと注意しておきます。

definition

時系列データ $X_t (t=0,\pm 1,\pm 2,\cdots)$ が定常増分(stationary increments)をもつとは、時刻 $t$ > $t'$ に対して $X_t-X_{t'}$ が $X_{t-t'}$ と同分布であるときをいう。

では次セクションでこれらの性質を例と照らし合わせながら見ていきます。

時系列解析の実例

さていよいよ時系列解析で実際に使われる例について話します。今回紹介するのは、ホワイトノイズ、ブラウン運動、AR(1)過程の３つですが、これらそれぞれ、高校で登場した２項漸化式

$x_{n+1}=c (c: \text{定数})$ 定数
$x_{n+1}-x_n=c (c: \text{定数})$ 線形
$x_{n+1}-\alpha x_n=c (\alpha,c: \text{定数})$ 指数型

の時系列解析における類似物と考えられます。

ホワイトノイズ

definition2.1.

ホワイトノイズ（白色雑音）は、次で与えられる時系列データ $X_t (t=0,\pm1,\pm2,\cdots)$ のことである

(WN1) $X_t =w_t ,w_t:$ は正規分布 $N(0,\sigma^2_{ \text{noise}})$ に従う確率変数。
(WN2)確率変数の組 $(X_t,X_{t'}) (t, \neq t')$ は独立。

ここで、 $\sigma^2_ \text{noise}$ は>0は定数である。□

${\mathbb E}[X_t]=0 ,{\mathbb E}[X_t]=\sigma^2_{ \text{noise}}$ となるので、

ホワイトノイズは、定常平均と定常分散を持つことになります・・・①。

また、時刻 $t,s$ ( $t$ > $s$ )について $X_t-X_s$ の分布は(WN1,2)と正規分布の

再生性より常に平均0分散 $2\sigma^2_{ \text{noise}}$ の正規分布であるため、定常増分を持たないことがわかります。

次に、ホワイトノイズの自己共分散 $\phi(t,t’)$ はというと、次のようになります

$\phi(t,t')=\begin{cases} \sigma^2_{ \text{noise}} ( \text{if } t=t') \\0 ( \text{if } t \neq t')\end{cases}$

これは、 $t=t'$ のときはWN1から、 $t \neq t'$ のときはWN2からわかります・・・②。

①②よりホワイトノイズは定常過程であることがわかります

ブラウン運動

definition2.2.

ブラウン運動とは次で定まる時系列データ $X_t (t=0,1,2,cdots)$ のことである。

(BM1) $X_0=0$
(BM2) $w_t:=X_{t}-X_{t-1} (t=1,2,\cdots)$ は常に正規分布 $N(0,\sigma^2_ \text{noise})$ に従う
(BM3) すべての $j=1,2,\cdots$ 及び、非負整数 $t_1$ < $t_2$ < $\cdots$ < $t_j$ について $\begin{equation}X_{t_1},X_{t_2}-X_{t_1} , \cdots,X_{t_j}-X_{t_{j-1}}\end{equation}$ は独立

ここで、 ${\sigma^2}_{ \text{noise}}$ >0は定数である。□

条件(BM3)は、独立増分性と呼ばれている条件です。

さて、まず時刻 $t$ における分布について調べましょう。

proposition2.3.

${X_t}_{t=0,1,2,\cdots}$ がdefinition2.1.で与えられるブラウン運動であるとき、

$X_t$ は平均0,分散 $t\sigma_{ \text{noise}}^2$ の正規分布に従う。

このことを見るには、次のようにします

$X_t=X_0+(X_1-X_0)+(X_2-X_1)+\cdots+(X_t-X_{t-1})$

と書いたとき $X_j-X_{j-1}=w_j (j=1,2,\cdots,t)$ が正規分布 $N(0,\sigma^2_ \text{noise})$ に従い(BM2)ます。さらにこれらは独立(BM3)なので、正規分布の再生性より $X_t$ は平均 $t \times 0$ , $t \times \sigma^2_{ \text{noise}}$ の正規分布であることが言えます。

proposition2.3.より、ブラウン運動は平均定常性は持つが、分散定常性は持たないことがわかりました。うえと同様に、時刻 $t,s$ ( $t$ > $s$ ) のとき,

$X_t-X_s=(X_{s+1}-X_s)+\cdots+(X_t-X_{t-1})$

に着目して $X_t-X_s$ は平均0,分散 $(t-s)\sigma^2_{ \text{noise}}$ の正規分布であることがわかります。これは、 $X_{t-s}$ と同分布であるためブラウン運動は定常増分を持つことになります。

さて次にブラウン運動の自己共分散 $\phi(t,t') t$ > $t'$ を求めるには次のようにします。
(BM3)より $X_{t'}$ と $X_t-X_{t'}$ は独立なので
$\text{Cov}(X_t-X_{t'},X_{t'})$ は0になることから、
$\phi(t,t')$

$= \text{Cov}(X_{t},X_{t'})$

$= \text{Cov}(X_{t}-X_{t'},X_{t'})+ ext{Cov}(X_{t'},X_{t'})$

$={\mathbb V}[ X_{t'}]$

$=t' \sigma_{ \text{noise}}^2.$

けっか $\phi(t,t')= \text{min}{t,t'}\sigma_{ \text{noise}}^2$
となりますが、これは $|t-t'|$ の関数ではないため、ブラウン運動は自己共分散に
関して定常性を持ちません。

AR(1)過程

definition

時系列データ $X_t (t=0,\pm1 ,\pm2,\cdots)$ がparameter $\alpha,\beta,\sigma_{ \text{noise}}^2$ をもつAR(1)過程(AR(1) process)に従うとは、次の2条件

(AR1) $\begin{equation}w_t:=X_t-\alpha X_{t-1}\end{equation}$ は、平均 $0$ 分散 $\sigma_{ \text{noise}}^2$ の正規分布に従う
(AR2) $t \neq s$ ならば, $w_t$ , $w_s$ は独立。

が成り立つ時をいう。

さてここで例えば、parameterを $\alpha=1,\beta=0$ と選ぶと、AR方程式はブラウン運動を定める式(BM2)に一致してしまいます。するとそのparameterで定まるAR(1)過程も、ブラウン運動が分散定常性を持たないのと同様に、分散定常性を失ってしまいます。じつは $\textcolor{red}{\alpha=\pm1}$ を境にAR(1)過程は定常性に関して異なる性質を持つのを述べたのが、つぎの命題になります

proposition

AR(1)過程が分散定常性を持つならば、 $|\alpha|$ <1

(証明)
${\mathbb{V}}[X_t]=\sigma^2$ >0 と仮定する。(AR1)を繰り返し用いて、[h=1,2,\cdots]のとき

$X_t=\alpha^h X_{t-h}+\beta \sum_{j=0}^{h-1}\alpha^j+\sum_{j=0}^{h-1}\alpha^j w_{t-h}$ ・・・①

となる。この等式の右辺の分散を計算すると、 $\alpha^{2h}{\mathbb{V}}[X_{t-h}]+\sigma_{ \text{noise}}^2\sum_{h=0}^{j-1}\alpha^{2h}$ これが,つねに ${\mathbb{V}}[X_t]=\sigma^2$ となるには、[|\alpha|]<1が必要である。

さて以降、 $|\alpha|$ <1を条件に課すことにします。

proposition

parameter $\alpha,\beta,\sigma_{ \text{\noise}}^2$ ( $|\alpha|$ <1)で与えられる定常AR(1)過程が、平均[\mu],分散 $\sigma^2$ をもつならば、関係式

$\mu=\frac{\beta}{1-\alpha}$

$\sigma^2=\frac{\sigma_{ \text{noise}}^2}{1-\alpha^2}$

が成り立つ。

これを導くには、式①の両辺の平均、分散をとり

$\mu=\alpha^h \mu+\beta(1+\alpha+\cdots+\alpha^{h-1})$ $\sigma^2=\alpha^{2h}\sigma^2 +\sigma_{ \bext{noise}}(1+\alpha^2+\cdots+\alpha^{2(h-1)})$

を導いて $h \to \infty$ 極限を取れば得られます。

さいごに、定常AR(1)過程の自己共分散を調べてこのセクションの締めとします。それを求めるには、まず次の事実を確かめなければなりません
事実:定常AR(1)過程 $X_t$ 時刻 $t,t'$ ( $t$ < $t'$ )について

$\text{Cov}(X_t,w_{t'})=0$

上の事実は、まず式①,(AR2)を使って

$\text{Cov}(X_t,w_{t'})=\alpha^{2h} \text{Cov}(X_{t-h},w_{t'})$

となります。

この量は、コーシー・主ワルツ不等式より絶対値でもって

$\alpha^{2h} \sqrt{{\mathbb V}[X_{t-h}]{\mathbb V}[w_{t'}]}=\sqrt{\frac{\alpha^{2h}\sigma^4_{\text{noise}}}{1-\alpha^2} }$ で抑えられているので、 $h \to \infty$ の極限をとれば導ける。

proposotion

parameter $\alpha,\beta,\sigma_{ \text{noise}}^2$ ( $|\alpha|$ <1)で与えられる定常AR(1)過程 $X_t$ 、および時刻 $t,t'$ $(t$ > $t')$ にたいし自己共分散は次のようになる

$\text{Cov}(X_t,X_{t'})=\frac{\alpha^{2(t-t')}}{1-\alpha^2}\sigma^2_{ \text{noise}}$

とくに、AR(1)の自己共分散は定常、かつ時刻差に関して指数減衰する。

（証明）

式で $h=t-t'$ として、 $\text{Cov}(X_t,X_{t'})=\alpha^{2h} \text{Cov}(X_{t'},X_{t'})=\frac{\alpha^{2(t-t')}}{1-\alpha^2}\sigma^2_{ \text{noise}}$ よりわかる。

今回導入したAR(1)過程は、さらにAR(p)過程 p:2以上の自然数へと一般化されます。

それらについて調べるには、フーリエ変換が必要なのですが、今回見たように

AR(1)についてはフーリエ変換を用いずとも、初等的に性質を導くことができます。

もちろん、フーリエ変換を使ってAR(1)を調べることもでき、それから自己共分散の

指数減衰則を導くことは、統計力学で有名な　ウィーナー・ヒンチンの関係式の再証明であるといえます。

以上わかったことを表にまとめると次のようになります。

	ホワイトノイズ	ブラウン運動	定常AR(1)過程
定常平均	◯	◯	◯
定常分散	◯	✕	◯
定常増分	✕	◯	✕
定常自己共分散	◯	✕	◯
$\text{Cov}(X_t,X_s)$ の振る舞い	$t=s$ を除き0;	$\text{min}{t,s}$ に関し、線形に増大	$\|t-s\|$ に関し指数的減衰

一日一膳(当社比)

RとJavaと時々数学

目次

時系列解析

統計学のおさらい

定常性

時系列解析の実例

ホワイトノイズ

ブラウン運動

AR(1)過程