TSLANet: Rethinking Transformers for Time Series Representation Learning

Time series data, characterized by its intrinsic long and short-range dependencies, poses a unique challenge across analytical applications. While Transformer-based models excel at capturing long-range dependencies, they face limitations in noise sensitivity, computational efficiency, and overfitting with smaller datasets. In response, we introduce a novel Time Series Lightweight Adaptive Network (TSLANet), as a universal convolutional model for diverse time series tasks. Specifically, we propose an Adaptive Spectral Block, harnessing Fourier analysis to enhance feature representation and to capture both long-term and short-term interactions while mitigating noise via adaptive thresholding. Additionally, we introduce an Interactive Convolution Block and leverage self-supervised learning to refine the capacity of TSLANet for decoding complex temporal patterns and improve its robustness on different datasets. Our comprehensive experiments demonstrate that TSLANet outperforms state-of-the-art models in various tasks spanning classification, forecasting, and anomaly detection, showcasing its resilience and adaptability across a spectrum of noise levels and data sizes. The code is available at https://github.com/emadeldeen24/TSLANet.

한 줄 요약

TSLANet은 시계열 분석을 위한 경량화된 적응형 컨볼루션 네트워크로, Transformer 대비 정확도와 계산 효율성을 동시에 향상시킨다.

핵심 기여도

Adaptive Spectral Block(ASB)를 제안하여 푸리에 분석과 적응 임계값을 활용해 노이즈를 제거하고 장단기 의존성을 포착.
Interactive Convolution Block(ICB)을 도입해 다양한 커널 크기의 CNN이 상호작용하며 복잡한 시계열 패턴을 학습.
Self-supervised pretraining을 적용해 데이터셋별 성능을 개선.
FordA 데이터셋에서 87.3% 정확도 (ASB 제거 시), ETTh1에서 0.421 MSE (ASB 제거 시)로 ASB의 중요성을 입증.

핵심 아이디어

TSLANet은 Transformer의 계산 비용과 노이즈 민감도 문제를 해결하기 위해 컨볼루션 기반 접근을 재조명한 모델이다. 기존 Transformer는 장거리 의존성을 잘 포착하지만, 노이즈에 취약하고 소규모 데이터셋에서 과적합되기 쉬운 단점이 있다. TSLANet은 Adaptive Spectral Block(ASB)을 통해 푸리에 변환을 활용해 전역 및 국소 필터를 결합하여 주파수 스펙트럼을 포괄적으로 분석하고, 고주파 노이즈를 적응적으로 제거함으로써 신호의 명확도를 높인다. 또한, ICB를 통해 다양한 커널 크기의 컨볼루션 네트워크가 상호작용하며 공간-시간적 특성을 학습한다. 이는 기존 CNN의 단기 패턴 포착 능력과 Transformer의 장기 의존성 학습 능력을 결합한 혁신적인 접근이다.

기술적 접근법

**Adaptive Spectral Block (ASB)**: 푸리에 변환을 기반으로 전역 필터와 국소 필터를 결합한 커널을 사용. Fast Fourier Transform(FFT)을 통해 O(N log N) 복잡도로 계산 효율성 확보.
**Interactive Convolution Block (ICB)**: 다양한 커널 크기의 CNN이 상호작용하며 복잡한 시계열 패턴을 학습.
**Self-supervised pretraining**: 데이터셋별로 사전 학습을 수행해 모델의 일반화 능력 향상.
**모델 구조**: Multi-block 설계를 채택해 확장성 확보. Self-attention 대신 ASB와 ICB를 사용해 경량화.

주요 결과

**FordA 데이터셋**: ASB 제거 시 정확도 87.3% (기본 모델 대비 감소).
**ETTh1 데이터셋**: ASB 제거 시 예측 MSE 0.421 (기본 모델 대비 +0.12 증가).
**Exchange 데이터셋**: ASB 제거 시 예측 MSE 0.380 (기본 모델 대비 +0.08 증가).
**UWaveGestureLibrary 데이터셋**: ASB 제거 시 정확도 77.5% (기본 모델 대비 감소).
**분류, 예측, 이상 탐지** 태스크에서 기존 Transformer 기반 모델 대비 우수한 성능.

의의 및 한계

TSLANet은 Transformer의 계산 비용과 노이즈 민감도 문제를 해결하며, 다양한 시계열 태스크에서 뛰어난 성능을 보인다. 특히, ASB를 통해 노이즈 제거와 장단기 의존성 포착을 동시에 달성한 점이 학술적·실용적 가치를 높인다. 그러나, ICB의 기여도는 ASB에 비해 상대적으로 낮으며, 일부 노이즈가 적은 데이터셋에서는 ASB의 효과가 제한될 수 있다. 또한, 모델의 성능은 사전 학습에 의존적이므로, 데이터셋별 최적화가 필요하다는 한계가 있다.

실용적 활용

TSLANet은 금융, 의료, 환경 모니터링 등 다양한 분야에서 시계열 분류, 예측, 이상 탐지에 적용 가능하다. 특히, 소규모 데이터셋이나 노이즈가 많은 환경에서도 안정적인 성능을 보이므로, 실시간 모니터링 시스템 및 IoT 기반 분석 플랫폼에 유용하게 활용될 수 있다.