변동성 클러스터링은 금융 시계열에서 가장 강력하게 관찰되는 통계적 특징 가운데 하나다. 큰 폭의 변동 뒤에 또다시 큰 폭의 변동이 따라오고, 잔잔한 흐름 뒤에는 잔잔한 흐름이 이어지는 이 군집 현상은 단순한 우연이 아니라 시장이 정보를 흡수하는 방식의 결과다. 변동성을 측정하고 예측하는 일은 위험 관리의 출발점이며, GARCH 계열 모델은 그 작업의 표준 도구로 자리잡았다.
변동성은 일정하지 않다, 변동성은 군집한다
고전적인 통계 모델은 오래도록 데이터의 분산이 시간 축 위에서 일정하다는 가정 위에 서 있었다. 그러나 실제 금융 자산의 수익률을 관찰하면, 어떤 시기에는 가격 변동이 거의 없는 잔잔한 흐름이 수개월 이어지다가, 또 다른 시기에는 하루에도 몇 퍼센트씩 출렁이는 격동기가 수주간 지속된다. 1987년 블랙 먼데이, 2008년 글로벌 금융위기, 2020년 코로나 팬데믹 같은 사건은 모두 변동성이 군집해서 폭발한 시기였다. 일정 분산 가정으로는 이런 현상을 묘사할 수 없으며, 위험 측정도 가격 결정도 모두 왜곡된다.
이 한계를 정면으로 다룬 첫 모델이 1982년 로버트 엥글이 제안한 ARCH(Autoregressive Conditional Heteroskedasticity)다. 변동성을 상수로 두는 대신, 과거 잔차의 제곱을 가중 평균하여 현재의 조건부 분산을 계산하는 방식이다. 즉 가까운 과거의 큰 충격은 현재 변동성을 끌어올리고, 시간이 흐르면서 그 영향력은 점차 감쇠한다. 이 단순한 발상은 시계열 통계학과 계량경제학에 큰 변화를 가져왔고, 엥글에게 2003년 노벨 경제학상을 안겼다.
GARCH 모델, 한 식이 거의 모든 시장에 들어맞는 이유
1986년 팀 볼러슬레브는 ARCH를 일반화하여 GARCH(Generalized ARCH) 모델을 제시했다. GARCH(1,1)의 조건부 분산 식은 다음과 같다.
$$\sigma^2_t = \omega + \alpha r^2_{t-1} + \beta \sigma^2_{t-1}$$
여기서 $\omega$는 장기 평균 분산, $\alpha$는 직전 시점의 충격이 현재 분산에 미치는 가중치, $\beta$는 직전 분산이 현재 분산으로 이어지는 지속성 가중치다. 이 식은 현재의 변동성을 세 가지 요소의 가중 평균으로 표현한다. 장기 평균, 직전 예측치, 그리고 어제 도착한 새로운 정보다. 가중치가 어떻게 설정되느냐에 따라 변동성이 새로운 정보에 얼마나 민감하게 반응하고, 얼마나 빠르게 장기 평균으로 회귀하는지가 결정된다.
GARCH(1,1)이 놀라울 만큼 다양한 시장에서 작동한다는 점은 잘 알려져 있다. 미국 주식, 유럽 채권, 신흥국 통화, 원자재, 암호자산까지, 약간의 조정만으로 한 모델이 거의 모든 자산군의 변동성 동학을 포착한다. 로버트 엥글의 노벨 강연은 이 보편성의 이유를 정보 도착 패턴의 관점에서 설명한다. 자산 가격은 새로운 정보에 반응해 움직이고, 정보 자체가 시간에 군집되어 도착하기 때문에, 변동성도 자연스럽게 군집을 이룬다는 논리다.
비대칭 변동성, 하락이 상승보다 크게 영향을 미치는 이유
표준 GARCH 모델은 양의 수익과 음의 수익이 동일한 크기로 변동성에 영향을 준다고 가정한다. 그러나 실증 분석은 이 가정이 자주 어긋난다는 사실을 보여준다. 같은 절댓값의 음의 수익이 양의 수익보다 미래 변동성을 더 크게 끌어올리는 현상이 광범위하게 관찰된다. 이 비대칭은 종종 레버리지 효과로 설명된다. 주가가 하락하면 부채 대비 자기자본의 비율이 상승해 기업의 위험성이 커지고, 그 결과 변동성이 추가로 증폭된다는 해석이다.
이 현상을 명시적으로 모델링한 것이 1991년 댄 넬슨의 EGARCH와 그 후 등장한 GJR-GARCH, TARCH 같은 변형들이다. 이 모델들은 음의 충격에 더 큰 가중치를 부여하는 비대칭 항을 추가한다. 옵션 시장에서 흔히 관찰되는 변동성 미소(volatility smile)와 변동성 스큐 현상도 이 비대칭과 직접 연결된다. 행사가가 낮을수록 내재 변동성이 높아지는 패턴은, 시장 참여자들이 큰 폭의 하락을 더 위험하게 평가한다는 사실의 가격적 반영이다.
변동성 모델의 활용
GARCH 계열 모델은 학술적 호기심을 넘어 금융 실무의 중심 도구로 자리잡았다. VaR(Value at Risk)을 산출하는 가장 일반적인 방법은 GARCH로 다음 시점의 조건부 분산을 예측하고, 거기서 분포 가정을 결합해 손실의 분위수를 계산하는 것이다. 옵션 가격 결정에서도 GARCH는 블랙숄즈 모델이 가정하는 일정 변동성의 한계를 보완하는 도구로 쓰인다. 포트폴리오 최적화에서는 다변량 GARCH가 자산 간 공분산의 시간 변동을 추적하여 동적 자산 배분의 기반을 제공한다.
다변량 환경에서는 자산 간의 분산뿐 아니라 공분산까지 시간에 따라 변하기 때문에, 단순한 GARCH의 직접 확장은 모수 폭발 문제를 일으킨다. 자산이 100개라면 추정해야 할 공분산 모수가 수천 개로 늘어나며, 데이터의 양과 추정의 안정성이 빠르게 무너진다. 이 한계를 극복하기 위해 등장한 것이 BEKK 모델, DCC(Dynamic Conditional Correlation) 모델, CCC(Constant Conditional Correlation) 모델 같은 다변량 GARCH 계열이다. 이 가운데 엥글이 2002년 제안한 DCC 모델은 변동성과 상관관계를 분리해서 추정하는 단순한 발상으로 모수 폭발 문제를 우회했고, 다자산 위험 관리의 표준 도구로 자리잡았다.
실증 분석에서 GARCH 계열 모델의 가장 흥미로운 결과 중 하나는 변동성 지속성의 측정이다. GARCH(1,1)에서 $\alpha + \beta$의 합은 변동성 충격이 얼마나 오래 지속되는지를 가늠하는 지표다. 대다수 주식 시장에서 이 합은 0.95에서 0.99 사이로 추정되며, 이는 한 번 발생한 충격의 영향이 수개월에 걸쳐 천천히 감쇠한다는 의미다. 합이 1에 가까워지면 IGARCH(Integrated GARCH)라 불리는 극단적인 지속성 영역으로 들어가며, 변동성이 사실상 영구 충격을 갖는 상태가 된다. 시장이 위기를 겪은 직후 변동성이 좀처럼 가라앉지 않는 현상의 통계적 표현이 바로 이것이다.
변동성의 통계적 검증과 임계값 설정은 보안 시스템의 무결성 평가에서도 중요한 역할을 한다. 통계 분포의 기댓값과 분산을 어떻게 측정하고 검증할지의 구조는 엔트로피 신뢰성 프레임워크에서 다룬 바 있고, 그러한 검증이 하드웨어 가속 환경에서 어떻게 작동하는지는 분산 노드 성능 최적화의 분석으로 확인할 수 있다. 베이즈 추론과의 결합도 활발하다. 베이즈 업데이트의 작동 원리를 GARCH 추정에 결합하면, 사전 분포를 통해 모수의 불확실성을 명시적으로 다룰 수 있다.
최근에는 LSTM, 트랜스포머 같은 딥러닝 모델이 GARCH의 일부 작업을 대체하거나 보완하고 있다. 그러나 GARCH가 가진 해석 가능성, 모수의 명료한 의미, 그리고 다양한 자산군에 걸친 보편성은 여전히 강력한 무기다. 데이터 양이 제한적이거나 결과의 해석이 중요한 환경에서는 GARCH 계열 모델이 단순한 기준선이 아니라 가장 신뢰할 수 있는 출발점으로 남는다.
실증 분석에서 자주 마주치는 한 가지 흥미로운 결과는 변동성의 비대칭이 자산군마다 다르게 나타난다는 사실이다. 주가지수에서는 비대칭이 매우 강하지만, 통화 시장에서는 거의 사라지고, 원자재 시장에서는 자산에 따라 부호가 바뀌기도 한다. 이 차이는 각 시장의 거시 구조에서 비롯된다. 주가지수는 기업의 부채 구조와 경기 순환에 직접 노출되어 있어 하락 충격이 변동성을 더 키우는 반면, 통화는 양방향 거래가 대칭적으로 이루어지기 때문에 비대칭이 약하다. 모델 선택 단계에서 자산군의 특성을 함께 고려하지 않으면, 가장 정교한 GARCH 변형도 잘못된 결과를 낳는다. 이 점은 모델링이 단순한 식의 적용이 아니라 시장 구조에 대한 이해와 결합되어야 함을 보여준다.
결론적으로 변동성 클러스터링은 금융 시계열의 본질적 특징이다. GARCH 모델은 이 특징을 한 식 안에 압축적으로 담아내며, 위험 측정과 가격 결정의 출발점이 된다. 시장이 잔잔한 시기에 변동성이 영원히 잔잔할 것이라 가정하는 순간, 그리고 격동의 시기에 곧바로 평균으로 회귀할 것이라 기대하는 순간, 두 모두 같은 함정에 빠진다. 변동성은 군집하지만 영원하지 않으며, GARCH는 그 두 사실을 동시에 표현하는 가장 정직한 수학적 도구로 남아 있다.