Pathformer: Multi-scale Transformers with Adaptive Pathways for Time Series Forecasting

Transformers for time series forecasting mainly model time series from limited or fixed scales, making it challenging to capture different characteristics spanning various scales. We propose Pathformer, a multi-scale Transformer with adaptive pathways. It integrates both temporal resolution and temporal distance for multi-scale modeling. Multi-scale division divides the time series into different temporal resolutions using patches of various sizes. Based on the division of each scale, dual attention is performed over these patches to capture global correlations and local details as temporal dependencies. We further enrich the multi-scale Transformer with adaptive pathways, which adaptively adjust the multi-scale modeling process based on the varying temporal dynamics of the input, improving the accuracy and generalization of Pathformer. Extensive experiments on eleven real-world datasets demonstrate that Pathformer not only achieves state-of-the-art performance by surpassing all current models but also exhibits stronger generalization abilities under various transfer scenarios. The code is made available at https://github.com/decisionintelligence/pathformer.

한 줄 요약

Pathformer는 다양한 시간 스케일의 시계열 패턴을 적응적으로 모델링하는 다중 스케일 트랜스포머 모델로, 11개 실제 데이터셋에서 기존 모델을 초과하는 성능을 보인다.

핵심 기여도

다중 스케일 트랜스포머 블록(Multi-scale Transformer Block)을 제안하여 시간 해상도와 거리 두 가지 관점을 통합.
적응 경로(Adaptive Pathways)를 도입하여 입력의 시간 동적에 따라 스케일 선택 및 특징 집약을 자동화.
11개 실제 데이터셋에서 기존 최고 성능(SOTA)을 달성.
경로 가중치 시각화를 통해 모델이 샘플별로 다른 패치 크기 조합을 선택함을 입증.

핵심 아이디어

기존 트랜스포머는 고정된 스케일로 시계열을 모델링하여 다양한 시간 패턴을 포착하기 어려웠다. Pathformer는 이 문제를 해결하기 위해 **다중 스케일 분할(Multi-scale Division)**을 도입하여 다양한 크기의 패치로 시계열을 나누고, **인터-패치 및 인트라-패치 어텐션(Dual Attention)**을 통해 전역 상관관계와 지역 세부 정보를 동시에 추출한다. 또한, **적응 경로(Adaptive Pathways)**를 통해 입력의 시간 동적에 따라 패치 크기와 어텐션 방식을 자동 선택하고, 추출된 다중 스케일 특징을 가중치 집약 방식으로 결합한다. 이는 기존 고정된 다중 스케일 모델링의 한계를 극복하고, 샘플별로 최적의 스케일 조합을 추출하는 데 기여한다.

기술적 접근법

**Multi-scale Transformer Block**: 다양한 크기의 패치로 시계열 분할 후, 인터-패치 어텐션(전역 상관관계)과 인트라-패치 어텐션(지역 세부 정보)을 수행.
**Adaptive Pathways**: 입력 데이터에 따라 패치 크기와 어텐션 방식을 선택하는 **Multi-scale Router**와, 선택된 특징을 가중치로 결합하는 **Aggregator**로 구성.
**Trend & Seasonality Decomposition**: 라우터에 통합되어 입력의 시간 동적을 파악해 패치 크기 선택을 보조.
**AMS Block**: Adaptive Multi-Scale Block으로, 트랜스포머 블록과 적응 경로를 결합한 핵심 구성 요소.
**Patch Size Pool**: 4개의 패치 크기(예: K=4)를 포함하며, K=2 또는 K=3일 때 성능이 가장 우수함을 실험적으로 입증.

주요 결과

11개 실제 시계열 데이터셋에서 Pathformer는 기존 모델을 초과하는 예측 성능을 달성.
K=2 또는 K=3일 때, K=1 또는 K=4보다 예측 정확도가 향상됨 (정확도 개선폭 명시되지 않음).
경로 제거(W/O Pathways) 시 예측 정확도가 감소함을 실험적으로 입증 (정확도 하락폭 명시되지 않음).
인트라-패치 어텐션은 지역 패턴을, 인터-패치 어텐션은 전역 패턴을 효과적으로 포착함을 확인.

의의 및 한계

Pathformer는 시계열 예측 분야에서 **적응적 다중 스케일 모델링**을 최초로 도입한 모델로, 다양한 스케일의 패턴을 유연하게 포착할 수 있는 기반을 제공한다. 특히, **적응 경로**를 통해 샘플별로 최적의 스케일 조합을 추출함으로써 모델의 일반화 능력을 향상시킨다. 그러나, **패치 크기 선택의 최적 K 값**은 데이터셋에 따라 달라질 수 있으며, 이는 추가 연구가 필요한 부분이다. 또한, **경로 선택의 해석 가능성**을 높이기 위한 방법론 개발이 필요할 수 있다.

실용적 활용

Pathformer는 클라우드 컴퓨팅, 에너지, 금융, 교통 등 다양한 산업에서 시계열 예측을 요구하는 상황에 적용 가능하다. 특히, **계절성과 추세가 복합적으로 나타나는 데이터**에서 뛰어난 성능을 보이며, **데이터셋별 최적 스케일 조합을 자동 추출**할 수 있어, 수작업 기반의 스케일 조정을 줄이는 데 유용하다.