1. Smoothing method (Evaluation metrics)

모델을 만들어 낸 다음에, 모델의 예측 성능을 평가하기 위해서는 예측성능 척도가 필요하다. 먼저, error는 다음과 같이 정의가 된다.

$$e_{t,1}=X_{t+1}-f_{t,1}$$

위 식에서, $X_{t+1}$은 t+1 시점의 실제 값이고, $f_{t,1}$은 t 시점에서 모델에 의해 예측된 t+1 값을 의미한다. 만약 여러개의 관측치에 대한 예측 오차를 계산할 때, 4개의 예측 성능 척도가 사용된다.

1) Mean squared error (MSE)

2) Root mean squared error (RMSE)

3) Mean absolute deviation (MAD)

4) Mean absolute percent error (MAPE)

위 척도는 다음과 같은 수식으로 나타낼 수 있다.

$MSE=\frac{1}{n}\sum_{t=1}^n e^2_{t,1}$

$RMSE=\sqrt{\frac{1}{n}\sum_{t=1}^n e^2_{t,1}}$

$MAD=\frac{1}{n}\sum_{t=1}^n |e_{t,1}|$

$MAPE=\frac{100}{n}\sum_{t=1}^n |\frac{e_{t,1}}{X_{t+1}}|$

위 4개의 척도중, MSE는 데이터의 단위와 다르기에 이를 갖고 성능 평가하기가 어려운 단점이 있다. 그래서 대신 RMSE, MAD, MAPE를 사용하는 것이 성능 비교에 유리할 수 있다.