흔적을 읽는 자, 시계열 데이터에서 패턴을 추출하는 방법
“늑대는 발자국에서 먹잇감의 무게와 방향을 읽는다. 시계열 분석가는 데이터의 진폭과 주기에서 다음 걸음을 짚는다. 흔적은 거짓말을 하지 않는다. 다만 읽을 줄 모르는 자에게 침묵할 뿐이다.”
READING THE TRACKS
시계열 분석은 과거의 흔적을 미래의 단서로 변환하는 학문이다. 시간 축 위에 흩어진 데이터 점들은 무작위처럼 보이지만, 그 안에는 추세, 주기, 잔재의 노이즈가 층층이 쌓여 있다. 늑대가 진흙 위에 남은 발자국 깊이로 사냥감의 무게를 짚어내듯, 분석가는 시계열의 진폭과 자기상관 구조에서 다음 움직임의 단서를 끌어낸다.
이전 리포트에서 다룬 사냥 프로토콜의 STALK 단계가 어디서 데이터를 모을지의 문제였다면, 오늘은 모은 데이터를 어떻게 읽을지의 문제다. 흔적을 모으는 것과 흔적을 해독하는 것은 전혀 다른 기술이다.
시계열 분해, 추세와 계절성과 잔차의 분리
시계열은 일반적으로 추세, 계절성, 순환, 잔차의 네 성분으로 구성된다. 추세는 장기적 방향성, 계절성은 정기적으로 반복되는 패턴, 순환은 장기적이지만 비주기적인 파동, 잔차는 그 외의 무작위 변동을 가리킨다. 이 네 성분을 분리해 보지 않으면, 추세를 계절성으로 오해하거나 잔차를 신호로 착각하는 일이 빈번하게 발생한다. STL 분해, 가법 모델, 승법 모델 같은 기법은 각 성분이 어떻게 상호작용하는지에 따라 선택된다.
분해의 진짜 가치는 각 성분이 서로 다른 정보를 담는다는 데 있다. 추세는 시장의 구조적 변화를, 계절성은 주기적 행동의 잔여를, 잔차는 모델이 아직 설명하지 못한 새로운 신호를 가리킨다. 잔차에 자기상관이 남아 있다면 모델이 부족한 것이고, 자기상관이 사라졌다면 추출 가능한 신호는 다 추출했다는 의미다. 사냥꾼이 발자국의 깊이와 보폭과 방향을 따로따로 읽어내듯, 분석가는 시계열의 각 성분을 분리해서 다른 의미를 추출한다.
정상성, 시계열이 안정되어야 분석이 가능한 이유
정상 시계열이란 시간이 흘러도 평균과 분산, 자기상관 구조가 변하지 않는 시계열을 의미한다. 대부분의 시계열 분석 기법은 데이터가 정상이라는 가정 위에 서 있다. 정상성이 깨지면 추정된 모수가 시간에 따라 달라지고, 예측 구간은 의미를 잃으며, 회귀 분석에서는 가짜 회귀(spurious regression)라 불리는 거짓 상관이 발생한다. 두 무관한 비정상 시계열을 회귀하면 R 제곱이 0.9를 넘기는 결과가 나오는 일이 드물지 않다.
정상성을 검정하는 표준 도구는 ADF(Augmented Dickey-Fuller) 검정과 KPSS 검정이다. 두 검정은 귀무가설이 정반대이므로 함께 적용해 교차 확인하는 것이 일반적이다. 비정상 시계열을 정상화하는 가장 흔한 방법은 차분이다. 1차 차분으로 정상성이 회복되지 않으면 2차 차분, 또는 로그 변환 후 차분을 시도한다. 사냥꾼이 진흙이 너무 무르거나 너무 단단해서 발자국이 변형되었을 때 다른 지표를 함께 보듯, 분석가도 비정상 시계열에서는 보조 변환을 통해 안정된 신호를 끌어낸다.
| 검정 | 귀무가설 | 유의 시 결론 |
|---|---|---|
| ADF | 단위근 존재 (비정상) | 정상 시계열 |
| KPSS | 정상 시계열 | 단위근 존재 |
| Phillips-Perron | 단위근 존재 | 정상 시계열 |
자기상관, 과거가 현재에 남기는 흔적
시계열의 가장 중요한 통계적 특성은 자기상관이다. 시점 t의 값과 시점 t-k의 값이 어떻게 연관되어 있는지를 측정하는 ACF(AutoCorrelation Function)와 PACF(Partial AutoCorrelation Function)는 모델 식별의 핵심 도구다. ACF가 점진적으로 감소하고 PACF가 특정 시점 이후 갑자기 끊긴다면 AR 모델이, 반대로 PACF가 점진적으로 감소하고 ACF가 특정 시점 이후 끊긴다면 MA 모델이 적합하다. 둘 다 점진적으로 감소하면 ARMA가 적절하다.
ARMA 모델의 차수 결정은 분석의 첫 단추이며, 잘못 채워지면 그 뒤의 모든 분석이 어긋난다. AIC, BIC 같은 정보 기준은 차수 선택의 객관적 도구이지만, 데이터의 구조를 직접 눈으로 살피는 ACF/PACF 도식이 여전히 분석가의 기본 무기다. 시계열 이상 탐지 방법 비교 연구는 통계적 기법, 머신러닝 기법, 딥러닝 기법을 가로지르며 어떤 모델이 어떤 데이터 구조에 적합한지에 대한 폭넓은 비교를 제공한다.
패턴이 부서지는 순간을 잡는 법
시계열 분석의 가장 흥미로운 영역은 패턴이 부서지는 순간을 포착하는 일이다. 변화점 검출(change-point detection)은 시계열의 평균이나 분산이 갑자기 바뀐 시점을 찾아내는 기법이며, 이상치 탐지는 정상 패턴에서 크게 벗어난 단일 관측치를 식별하는 작업이다. 두 작업은 비슷해 보이지만 본질적으로 다르다. 변화점은 새로운 체제의 시작을 알리고, 이상치는 일시적 일탈에 불과하다. 사냥꾼은 발자국 패턴이 갑자기 끊기는 지점에서 사냥감이 방향을 바꾸었음을 읽는다.
시간 영역에서 패턴이 잘 드러나지 않을 때, 분석가는 주파수 영역으로 시선을 옮긴다. 푸리에 변환은 시계열을 여러 주기를 가진 사인 곡선의 합으로 분해하며, 데이터 안에 숨어 있는 주기성을 가시화한다. 그러나 푸리에 변환은 비정상 시계열에 약하고 시간에 따른 주파수 변화를 포착하지 못한다. 이 한계를 보완하는 것이 웨이블릿 분석이다. 웨이블릿은 시간과 주파수를 동시에 국지적으로 분석할 수 있어, 어떤 시점에 어떤 주기가 강해지고 약해지는지를 추적하는 데 적합하다. 금융 시계열의 변동성 클러스터링이나 갑작스런 충격을 감지할 때, 웨이블릿이 푸리에보다 더 풍부한 정보를 제공하는 경우가 많다.
예측 모델의 선택은 데이터의 구조와 분석 목적에 따라 결정된다. ARIMA는 자기상관 구조가 명확한 단변량 시계열에 강하고, ETS(Exponential Smoothing)는 추세와 계절성이 뚜렷한 데이터에 적합하다. Prophet은 결측치와 휴일 효과를 자동으로 다루어 비즈니스 시계열에 흔히 활용되며, LSTM과 트랜스포머 기반 모델은 비선형 의존성과 장기 메모리를 포착하는 데 강점을 보인다. 모델의 정교함은 결과의 우월성을 자동으로 보장하지 않는다. 단순한 ARIMA가 복잡한 딥러닝 모델보다 더 안정적인 예측을 내놓는 경우는 의외로 흔하다.
모델 평가의 기준 또한 분석의 정직성을 결정한다. 단순히 RMSE나 MAE가 낮다는 사실만으로 모델이 우월하다고 결론짓는 일은 위험하다. 표본 외 예측 성능, 다양한 시간대에서의 일관성, 충격 구간에서의 행동, 잔차의 자기상관 잔재 여부 같은 다층적 지표가 함께 검토되어야 한다. 시계열 분석가의 진짜 능력은 가장 화려한 모델을 가져오는 데 있지 않고, 같은 데이터에 여러 모델을 적용해 그 결과의 차이를 정직하게 비교 검토하는 데 있다.
실전 분석에서는 인내심 있는 관찰이 정교한 알고리즘보다 우월한 결과를 낳는 경우가 많다. 데이터를 충분히 모으기 전에 결론을 내리는 분석가는 이상치를 변화점으로 오해하거나, 변화점을 이상치로 무시하는 실수를 반복한다. 커뮤니티 위계 분석에서 알파의 시그널과 오메가의 노이즈를 구별하는 작업도 본질적으로 같은 문제다. 신호는 반복되고, 노이즈는 흩어진다. 시계열 통계는 이 차이를 수학적으로 표현하는 언어다.
결론적으로 시계열은 끊어진 점들의 나열이 아니라 이어진 발자국이다. 추세를 분리하고, 정상성을 검정하고, 자기상관 구조를 식별하고, 변화점을 탐지하는 일련의 절차는 자연 속의 사냥꾼이 흔적을 읽는 과정과 본질적으로 동일하다. 도구의 정밀함은 결과의 질을 결정하지만, 도구를 쥐는 손의 인내심이 결국 분석가의 수준을 가른다. 흔적은 거짓말을 하지 않는다. 다만 충분히 오래 본 자에게만 입을 연다.