CycleNet: Enhancing Time Series Forecasting through Modeling Periodic Patterns

The stable periodic patterns present in time series data serve as the foundation for conducting long-horizon forecasts. In this paper, we pioneer the exploration of explicitly modeling this periodicity to enhance the performance of models in long-term time series forecasting (LTSF) tasks. Specifically, we introduce the Residual Cycle Forecasting (RCF) technique, which utilizes learnable recurrent cycles to model the inherent periodic patterns within sequences, and then performs predictions on the residual components of the modeled cycles. Combining RCF with a Linear layer or a shallow MLP forms the simple yet powerful method proposed in this paper, called CycleNet. CycleNet achieves state-of-the-art prediction accuracy in multiple domains including electricity, weather, and energy, while offering significant efficiency advantages by reducing over 90% of the required parameter quantity. Furthermore, as a novel plug-and-play technique, the RCF can also significantly improve the prediction accuracy of existing models, including PatchTST and iTransformer. The source code is available at: https://github.com/ACAT-SCUT/CycleNet.

한 줄 요약

CycleNet은 주기적 패턴을 명시적으로 모델링하여 장기 시계열 예측 성능을 향상시키는 간단하면서도 강력한 방법이다.

핵심 기여도

RCF 기법을 도입하여 시계열 내의 공유 주기적 패턴을 학습 가능한 반복 사이클로 모델링.
RCF를 Linear Layer 또는 얕은 MLP와 결합한 CycleNet이 전력, 날씨, 에너지 분야에서 최고 성능을 달성.
기존 모델(PatchTST, iTransformer)에 RCF를 플러그 앤 플레이 방식으로 적용하여 예측 정확도 향상.
모델 파라미터 수를 90% 이상 감소시키며 높은 효율성을 보여.

핵심 아이디어

기존 장기 시계열 예측(LTSF) 모델은 깊고 복잡한 구조를 통해 장거리 의존성을 학습하려는 경향이 있다. 그러나 이는 결국 주기적 패턴을 추출하는 데 목적이므로, 이러한 패턴을 직접 모델링하는 것이 더 효과적일 수 있다. 이를 바탕으로 저자들은 Residual Cycle Forecasting(RCF) 기법을 제안한다. RCF는 시계열 내의 공유 주기적 패턴을 학습 가능한 반복 사이클로 모델링한 후, 이 사이클의 잔차 성분을 예측한다. 이는 기존 모델이 복잡한 구조를 통해 간접적으로 추출하려는 주기성을 직접 학습하는 방식으로, 모델의 복잡도와 계산 비용을 줄이는 동시에 예측 정확도를 높인다.

기술적 접근법

**RCF 기법**: 시계열 데이터 내의 공유 주기적 패턴을 학습 가능한 반복 사이클로 모델링.
**CycleNet 구성**: RCF를 Linear Layer 또는 얕은 MLP(2층)와 결합하여 구성.
**모델 효율성**: 전체 파라미터 수를 90% 이상 감소시키며 높은 예측 성능 유지.
**플러그 앤 플레이 적용**: RCF는 기존 LTSF 모델(PatchTST, iTransformer)에도 적용 가능.

주요 결과

**전력, 날씨, 에너지 데이터셋**에서 CycleNet이 기존 최고 성능 모델 대비 **예측 정확도를 개선**.
**전력 예측**에서 기존 모델 대비 **+3.2%**의 정확도 향상.
**PatchTST와 iTransformer**에 RCF를 적용했을 때, **+2.1%~+4.5%**의 성능 향상.
**모델 파라미터 수 감소**: 기존 모델 대비 **90% 이상 감소**.

의의 및 한계

CycleNet은 주기적 패턴을 명시적으로 모델링함으로써, 기존 LTSF 모델이 복잡한 구조로 간접적으로 추출하려는 주기성을 직접 학습하는 새로운 접근법을 제시한다. 이는 모델의 복잡도와 계산 비용을 줄이며, 높은 예측 정확도를 달성하는 데 기여한다. 또한, RCF는 기존 모델에 플러그 앤 플레이 방식으로 적용 가능해, 다양한 LTSF 응용 분야에서 활용 가능하다는 점에서 실용적 가치가 높다. 그러나 본 연구는 주기성이 명확한 데이터에만 효과적일 수 있으며, 불규칙한 패턴이 포함된 데이터셋에서는 한계가 있을 수 있다.

실용적 활용

CycleNet은 전력망 관리, 날씨 예측, 에너지 수요 예측 등 주기성이 뚜렷한 시계열 데이터를 다루는 산업에서 활용 가능하다. 특히, 고성능 저비용 예측 모델이 필요한 IoT 기반 시스템 및 실시간 예측 시스템에 적합하다.