TimeMixer++: A General Time Series Pattern Machine for Universal Predictive Analysis

Time series analysis plays a critical role in numerous applications, supporting tasks such as forecasting, classification, anomaly detection, and imputation. In this work, we present the time series pattern machine (TSPM), a model designed to excel in a broad range of time series tasks through powerful representation and pattern extraction capabilities. Traditional time series models often struggle to capture universal patterns, limiting their effectiveness across diverse tasks. To address this, we define multiple scales in the time domain and various resolutions in the frequency domain, employing various mixing strategies to extract intricate, task-adaptive time series patterns. Specifically, we introduce a general-purpose TSPM that processes multi-scale time series using (1) multi-resolution time imaging (MRTI), (2) time image decomposition (TID), (3) multi-scale mixing (MCM), and (4) multi-resolution mixing (MRM) to extract comprehensive temporal patterns. MRTI transforms multi-scale time series into multi-resolution time images, capturing patterns across both temporal and frequency domains. TID leverages dual-axis attention to extract seasonal and trend patterns, while MCM hierarchically aggregates these patterns across scales. MRM adaptively integrates all representations across resolutions. This method achieves state-of-the-art performance across 8 time series analytical tasks, consistently surpassing both general-purpose and task-specific models. Our work marks a promising step toward the next generation of TSPMs, paving the way for further advancements in time series analysis.

한 줄 요약

TimeMixer++는 다중 스케일과 주파수 분해능을 활용해 8가지 시계열 분석 작업에서 최고 성능을 달성한 시계열 패턴 머신이다.

핵심 기여도

TimeMixer++를 제안하여 MRTI, TID, MCM, MRM 모듈을 통해 다중 스케일과 주파수 영역에서 패턴을 추출함.
8가지 시계열 작업에서 기존 모델 대비 5.10~8.81% 개선된 성능을 보임.
다양한 작업에서 CKA 유사도가 유동적으로 변화하며, 작업별 패턴 적응성을 높임.
30개 이상의 벤치마크에서 27개의 기존 최고 성능 모델을 상회함.

핵심 아이디어

TimeMixer++는 시계열 데이터가 다중 스케일과 주기성을 동시에 가지는 특성을 고려해, 시간 영역과 주파수 영역에서 복합적인 패턴을 추출하는 새로운 접근법을 제안한다. 기존 모델은 RNN, TCN, Transformer가 각각 장단기 의존성, 고정된 수용 필드, 토큰 기반의 어텐션으로 한계가 있었으며, 특히 시계열의 중첩된 주기성과 다중 스케일을 효과적으로 포착하지 못했다. TimeMixer++는 이를 해결하기 위해 MRTI를 통해 다중 스케일 시계열을 다중 주파수 해상도의 이미지로 변환하고, TID를 통해 계절성과 추세를 분리한 후, MCM과 MRM을 사용해 스케일과 해상도 간의 정보를 적응적으로 통합한다. 특히, MRTI는 시간 영역과 주파수 영역의 패턴을 동시에 포착할 수 있으며, TID는 이중 축 어텐션을 통해 계절성과 추세를 분리하는 것이 핵심이다.

기술적 접근법

**MRTI (Multi-Resolution Time Imaging)**: 다중 스케일 시계열을 다중 주파수 해상도의 이미지로 변환.
**TID (Time Image Decomposition)**: 이중 축 어텐션을 사용해 계절성과 추세 패턴을 분리.
**MCM (Multi-Scale Mixing)**: 계층적 방식으로 스케일 간 패턴을 집약.
**MRM (Multi-Resolution Mixing)**: 해상도 간 표현을 적응적으로 통합.
하이퍼파라미터: 배치 크기 512, 학습률 10⁻³~10⁻¹, ADAM 최적화, L2 손실함수 사용.
스케일 수 M은 시계열 길이에 따라 1~3, 해상도 수 K는 1~5로 설정.

주요 결과

**ECL 데이터셋**: 채널 믹싱으로 5.36% 성능 향상.
**ETT 데이터셋**: 다중 스케일 믹싱으로 6.25% 개선.
**계절성 데이터 (ECL, Traffic)**: TID 적용 시 8.81% 성능 향상.
**다중 해상도 믹싱**: 5.10% 추가 개선.
8가지 작업 (예측, 분류, 이상 탐지 등)에서 기존 최고 성능 모델을 상회함.
30개 이상의 벤치마크에서 27개의 기존 모델을 앞섬.

의의 및 한계

TimeMixer++는 다양한 시계열 작업에서 유연한 표현 능력을 보이며, 기존의 작업별 모델을 대체할 수 있는 유니버설 모델로의 가능성을 제시한다. 특히, CKA 유사도가 작업에 따라 유동적으로 변화함으로써, 모델이 다양한 패턴을 적응적으로 학습하고 표현할 수 있음을 보여준다. 그러나, 모델의 복잡성 증가로 인한 계산 비용 상승과, 특정 작업에서의 과적합 가능성은 아직 해결해야 할 한계로 남아 있다. 또한, 실험은 주로 공개된 벤치마크에 기반했으며, 실제 산업 데이터에서의 성능 검증이 필요하다.

실용적 활용

TimeMixer++는 전력망 예측, 의료 데이터 분류, 센서 이상 탐지 등 다양한 산업 분야에서 활용 가능하다. 특히, 다중 스케일과 주기성을 동시에 처리할 수 있어, 금융 시계열 분석, 기상 예보, IoT 장비 모니터링 등에서 실용적 가치가 높다. 모델의 유연성은 연구자들이 작업별 최적화 없이도 다양한 시계열 분석 작업을 수행할 수 있도록 지원한다.