DUET: Dual Clustering Enhanced Multivariate Time Series Forecasting

Multivariate time series forecasting is crucial for various applications, such as financial investment, energy management, weather forecasting, and traffic optimization. However, accurate forecasting is challenging due to two main factors. First, real-world time series often show heterogeneous temporal patterns caused by distribution shifts over time. Second, correlations among channels are complex and intertwined, making it hard to model the interactions among channels precisely and flexibly. In this study, we address these challenges by proposing a general framework called DUET, which introduces DU al clustering on the temporal and channel dimensions to Enhance multivariate Time series forecasting. First, we design a Temporal Clustering Module (TCM) that clusters time series into fine-grained distributions to handle heterogeneous temporal patterns. For different distribution clusters, we design various pattern extractors to capture their intrinsic temporal patterns, thus modeling the heterogeneity. Second, we introduce a novel Channel-Soft-Clustering strategy and design a Channel Clustering Module (CCM), which captures the relationships among channels in the frequency domain through metric learning and applies sparsification to mitigate the adverse effects of noisy channels. Finally, DUET combines TCM and CCM to incorporate both the temporal and channel dimensions. Extensive experiments on 25 real-world datasets from 10 application domains, demonstrate the state-of-the-art performance of DUET.

한 줄 요약

DUET는 시간과 채널 차원의 이중 클러스터링을 통해 다변량 시계열 예측 성능을 향상시키는 새로운 프레임워크이다.

핵심 기여도

**TCM(Temporal Clustering Module)**을 설계하여 시간 분포 이동(TDS)에 따른 이질적 시간 패턴을 모델링.
**CCM(Channel Clustering Module)**을 통해 주파수 도메인에서 채널 간 관계를 학습하고 노이즈 채널의 영향을 완화.
**Masked Attention 기반의 FM(Fusion Module)**을 도입하여 TCM과 CCM의 정보를 융합.
25개의 실제 데이터셋에서 SOTA 성능 달성.

핵심 아이디어

DUET은 기존 연구들이 시간 패턴의 이질성과 채널 간 복잡한 관계를 효과적으로 모델링하지 못한다는 문제를 해결하기 위해, 시간 차원과 채널 차원에서 이중 클러스터링을 도입한다.
TCM은 TDS에 따라 시간 시계열을 세분화된 분포로 클러스터링하고, 각 클러스터에 맞는 패턴 추출기를 설계하여 이질적 시간 패턴을 정확히 포착한다.
CCM은 채널 간 관계를 주파수 도메인에서 메트릭 학습을 통해 캡처하고, 스파스화를 통해 노이즈 채널의 영향을 줄인다. 이는 기존의 CI(채널 독립), CD(채널 종속), CHC(하드 클러스터링) 전략의 한계를 극복한다.

기술적 접근법

**TCM**: 시간 분포 이동에 따라 시계열을 클러스터링하고, 각 클러스터에 맞는 패턴 추출기 사용.
**CCM**: 채널 간 관계를 주파수 도메인에서 측정하고, 스파스화를 통해 노이즈 채널 제거.
**FM**: 마스킹 어텐션 기반 융합 모듈로, TCM의 시간 특징과 CCM의 채널 마스크를 결합.
**하이퍼파라미터**: 명시되지 않음.
**데이터**: 25개의 실제 데이터셋, 10개의 응용 분야에서 실험.

주요 결과

**ETTh2 데이터셋**에서 TCM 제거 시 성능 하락폭이 커, TCM의 효과 확인됨.
**Traffic 데이터셋**에서 CCM 제거 시 성능이 크게 감소, 채널 간 상관관계의 중요성 입증.
**Full Attention 사용 시 ETTh2 성능 하락**, 마스킹 어텐션의 효과 확인.
**주파수 도메인 대신 시간 도메인 사용 시 성능 하락**, 주파수 도메인의 의미 있는 정보 포함됨.

의의 및 한계

DUET은 시간 패턴의 이질성과 채널 간 복잡한 관계를 동시에 모델링하는 첫 번째 프레임워크로, 다양한 응용 분야에서 뛰어난 예측 성능을 보인다. 특히, 주파수 도메인 기반의 채널 클러스터링은 기존 연구에서 다루지 않았던 새로운 접근법이다.
그러나, 하이퍼파라미터 설정이나 모델 구조의 최적화에 대한 구체적인 설명은 제공되지 않았으며, 특정 도메인에 대한 성능 향상 여부는 추가 실험 필요.

실용적 활용

DUET은 금융, 에너지, 교통, 기상 등 다양한 분야에서 다변량 시계열 예측에 활용될 수 있다. 특히, 시계열이 불안정하거나 채널 간 상관관계가 복잡한 상황에서 유용하다. 예를 들어, 교통량 예측 시 다양한 센서 데이터를 효과적으로 결합하여 정확도를 높일 수 있다.