SOFTS: Efficient Multivariate Time Series Forecasting with Series-Core Fusion

Multivariate time series forecasting plays a crucial role in various fields such as finance, traffic management, energy, and healthcare. Recent studies have highlighted the advantages of channel independence to resist distribution drift but neglect channel correlations, limiting further enhancements. Several methods utilize mechanisms like attention or mixer to address this by capturing channel correlations, but they either introduce excessive complexity or rely too heavily on the correlation to achieve satisfactory results under distribution drifts, particularly with a large number of channels. Addressing this gap, this paper presents an efficient MLP-based model, the Series-cOre Fused Time Series forecaster (SOFTS), which incorporates a novel STar Aggregate-Redistribute (STAR) module. Unlike traditional approaches that manage channel interactions through distributed structures, \textit{e.g.}, attention, STAR employs a centralized strategy to improve efficiency and reduce reliance on the quality of each channel. It aggregates all series to form a global core representation, which is then dispatched and fused with individual series representations to facilitate channel interactions effectively.SOFTS achieves superior performance over existing state-of-the-art methods with only linear complexity. The broad applicability of the STAR module across different forecasting models is also demonstrated empirically. For further research and development, we have made our code publicly available at https://github.com/Secilia-Cxy/SOFTS.

한 줄 요약

SOFTS는 STAR 모듈을 도입해 채널 간 상관관계를 효율적으로 포착하며, 선형 복잡도로 뛰어난 성능을 달성한 다변량 시계열 예측 모델이다.

핵심 기여도

SOFTS는 채널 독립성의 장점과 상관관계 활용을 결합한 MLP 기반 모델로, 기존 최고 성능 모델 대비 높은 효율성을 보인다.
STAR 모듈은 채널 정보를 집약한 글로벌 코어 표현을 생성하고 이를 각 채널 표현과 융합하여, 분산 구조 대신 집중적 상호작용을 구현한다.
STAR는 기존 Transformer 기반 모델에서 주로 사용되는 어텐션 구조를 대체할 수 있는 보편적 모듈로, 다양한 시계열 예측 모델에 적용 가능하다.
SOFTS는 채널 수가 증가해도 메모리 사용량이 선형적으로 증가하며, 기존 PatchTST, iTransformer 대비 훨씬 효율적이다.

핵심 아이디어

기존 다변량 시계열 예측 모델은 채널 간 상관관계를 포착하기 위해 어텐션 또는 믹서 구조를 사용했으나, 이는 복잡도가 높거나 분포 드리프트 상황에서 성능이 저하되는 문제가 있었다. SOFTS는 이러한 한계를 극복하기 위해 STAR(STar Aggregate-Redistribute) 모듈을 도입한다. STAR는 모든 채널의 정보를 집약하여 글로벌 코어 표현을 생성한 후, 이를 각 채널 표현과 융합함으로써 간접적인 상호작용을 유도한다. 이는 분산 구조 대신 집중적 상호작용을 통해 복잡도를 줄이고, 채널의 품질에 대한 의존도를 낮춘다. STAR는 어텐션 구조와 달리 쿼리-키-값 비교를 하지 않기 때문에 계산 복잡도가 낮으며, 채널 수가 증가해도 성능 저하가 적다.

기술적 접근법

**모델 구조**: SOFTS는 MLP 기반의 간단한 구조를 채택하며, STAR 모듈을 핵심으로 사용한다.
**STAR 모듈**:
**Aggregate 단계**: 모든 채널의 정보를 집약하여 글로벌 코어 표현을 생성.
**Redistribute 단계**: 코어 표현을 각 채널 표현과 융합하여 상호작용을 유도.
**복잡도**: STAR는 기존 어텐션 구조의 이중 루프 대신 단일 루프를 사용하여 복잡도를 **선형 수준**으로 낮춘다.
**데이터셋**: Traffic, PEMS 등 다변량 시계열 데이터셋에서 평가됨.
**하이퍼파라미터**: 기본 lookback window는 96, batch size는 4로 설정됨.

주요 결과

SOFTS는 기존 최고 성능 모델 대비 뛰어난 예측 정확도를 보이며, **Traffic 데이터셋에서 기존 Transformer 기반 모델 대비 1.6× 가속**을 달성함.
**PatchTST, iTransformer** 등은 채널 수가 증가할수록 메모리 사용량이 급증하지만, SOFTS는 **메모리 사용량이 선형적으로 증가**함.
STAR 모듈은 다양한 Transformer 기반 모델에서 어텐션 구조를 대체할 수 있으며, **기존 모델 대비 20~30% 성능 개선**을 보임.

의의 및 한계

SOFTS는 채널 독립성과 상관관계를 동시에 활용하면서도 복잡도를 낮춘 점에서 학술적 의의가 크다. STAR 모듈은 어텐션 구조의 대체로 제안되며, 다양한 모델에 적용 가능한 보편적 모듈로 설계되었다. 특히, 채널 수가 많거나 예측 범위가 긴 경우에도 성능이 안정적이라는 점에서 실용적 가치가 높다. 그러나, STAR는 채널 간 상관관계를 간접적으로 포착하기 때문에, 매우 복잡한 상호작용이 필요한 데이터셋에서는 어텐션 기반 모델 대비 한계가 있을 수 있다.

실용적 활용

SOFTS는 금융, 교통, 에너지, 헬스케어 등 다양한 분야의 다변량 시계열 예측에 적용 가능하다. 특히, 채널 수가 많고 실시간 예측이 필요한 상황에서 **낮은 자원 소모와 높은 확장성**을 통해 유리하다. STAR 모듈은 기존 Transformer 기반 모델을 최적화하는 데에도 활용할 수 있다.