3. ARMA model

이전 포스팅에서 정상성 시계열은 AR과 MA로 나타낼 수 있음을 설명하였다. 이번 포스팅에는 AR, MA 모형을 각각 설명하고 이 두개가 합친 ARMA 모형에 대해서 소개하고자한다.

먼저, AR의 기본적인 형태는 다음과 같다.

$Z_t=\phi_1 Z_{t-1}+a_t$

위 식에서 $\phi$는 정상성 조건을 만족시키며, $a_t$는 평균이 0, 분산이 $\sigma^2$을 갖는 white noise 이다. 위 식은 시차 1의 과거 값에 영향을 받음으로, AR(1) 모형이라고 부른다. 만약 시차 p인 AR(p) 모형은 다음과 같이 표현된다.

$Z_{t}=\phi_1 Z_{t-1}+\phi_2 Z_{t-2}+...+\phi_p Z_{t-p}+a_t$

위 식에서 $\phi$는 정상성 조건을 만족시킨다.

간단하게, AR(1) 모형의 계수 $\phi$를 구하는 방법에 대해서 알아보자. 먼저, $Z_t=\phi_1 Z_{t-1}+a_t$에서 AR(1)의 자기공분산 함수를 구하면 다음과 같다.

$\gamma (k) = \phi_1^k \gamma(0)$, ($\gamma(0)=\phi \gamma(1)$ 이고, $a_t$는 과거 시점와 아무런 상관이 없다는 사실을 기억하자.)

그리고, $Z_t$의 분산 $\gamma (0)$을 다음과 같이 분산을 취해서 구해보면, 다음과 같다.

$Var[Z_t] = \phi_1^2 Var[Z_{t-1}]+Var[a_t] + 2\phi_1 Cov[Z_{t-1},a_t]$

위 식에서 맨 오른쪽 항은 0이 되고 (현재 white noise는 과거 시점과 아무런 상관이 없다.) 정상성 조건하에 분산은 일정함으로, 다음이 성립된다.

$\gamma(0) = \phi_1^2 \gamma(0) +\sigma^2$

따라서, $Z_t$의 분산은 $\gamma(0) = \frac{\sigma^2}{1-\phi_1^2}$ 이 된다. 이 식에서 분산은 0보다 커야하고, 자기공분산 함수가 유한해야 함으로, $|\phi_1|<1$을 만족해야 한다. AR(1) 모형의 ACF는 다음과 같이 구할 수 있다.

$\rho(k) = \frac{\gamma (k)}{\gamma (0)}=\phi_1^k, k=1,2...$

여기서 알 수 있는 것은 AR 모형의 ACF는 시차가 증가함에 따라서 지수적으로 감소한다는 것이다. (exponentially decaying) 다음으로 PACF를 구해보면, $P(1)$은 $\phi_1$과 동일하다. 그리고 $P(k), k>1$은 0이 된다. 이 사실을 통해, AR 모형의 PACF는 order에 해당하는 시차에서 cutoff되는 성질을 갖음을 유추할 수 있다. (AR(p)까지 다 정리한다음 이런 결론을 내리는 것이 맞지만, 다 설명하기에 어려움으로 이렇게 마무리를 한다. 궁금하면 AR(p)가 어떤 ACF와 PACF 형태를 갖는지 직접 구해보자.)

다음으로, MA의 기본적인 형태를 확인해보자.

$Z_t=a_t-\theta_1 a_{t-1}$

위 식에서 $\theta_1$은 조건이 필요하고, 위 식은 MA(1) 모형이다. 위 식에서 분산을 구해보면,

$Var[Z_t]=\gamma(0)=E[(a_t-\theta_1 a_{t-1})^2]=(1+\theta_1^2)\sigma^2$으로 나타낼 수 있다.

다음으로 자기공분산 함수를 구해보면,

$\gamma(1) = E[Z_t Z_{t-1}]=E[(a_t-\theta_1 a_{t-1})(a_{t-1}-\theta_1 a_{t-2})]=-\theta_1 \sigma^2$ 이고, $\gamma(k)=0, k>1$ 이다. 그럼으로, ACF를 구해보면 다음과 같다.

$\rho (1)=\frac{-\theta_1}{1+\theta_1^2}$, $\rho (k) = 0, k>1$

위 결과를 통해서 MA는 order 만큼의 시차에서 ACF가 cutoff되는 형태를 갖는 다는 것을 알 수 있다.

다음으로 PACF를 구해보면, 다음과 같다.

$P(1)=\rho (1)=\frac{-\theta_1}{1+\theta_1^2}$

$P(k)=\frac{-\theta_1^k (1-\theta_1^2)}{1-\theta_1^{2(k+1)}}, k=1,2,...$

MA(1) 모형을 AR 표현식으로 바꿀 수가 있는데, 이때 invertibility 조건을 만족해야한다. 이 조건을 만족하기 위해서는 $|\theta_1|<1$을 만족해야함으로, PACF의 형태는 시차 k가 증가할 때 0으로 감소하는 형태를 보여준다.

마지막으로, ARMA (autoregressive moving average) 모형은 AR 모형과 MA 모형을 결합한 형태로 다음과 같이 시차 (p,q)가 관여된 모형을 ARMA(p,q)라고 하고 다음과 같이 나타낸다.

$Z_t-\phi_1 Z_{t-1}-...-\phi_p Z_{t-p}=a_t - \theta_1 a_{t-1}-...-\theta_q a_{t-q}$, 혹은

$\phi_p (B) Z_t = \theta_q (B) a_t$로 나타낸다.

위 ARMA 모형의 정상성 및 가역성의 조건은 다음을 만족하는 것이다.

(1) $\phi_p (B) = 0$의 각 근의 크기가 1보다 커야한다 : 정상성 조건

(2) $\theta_q (B) = 0$의 각 근의 크기가 1보다 커야한다 : 가역성 조건

(4) $\phi_p=0$와 $\theta_q=0$에는 공통적인 근이 없어야한다.

추후에 보겠지만, ARMA 모형은 AR과 MA가 함께 사용되는 모형이기 때문에, ACF와 PACF가 AR과 MA에서 보는 특징과 조금 다르다. 이 부분은 다음 포스팅에 다루고자 한다.