Foundation Models for Time Series Analysis: A Tutorial and Survey

Time series analysis stands as a focal point within the data mining community, serving as a cornerstone for extracting valuable insights crucial to a myriad of real-world applications. Recent advances in Foundation Models (FMs) have fundamentally reshaped the paradigm of model design for time series analysis, boosting various downstream tasks in practice. These innovative approaches often leverage pre-trained or fine-tuned FMs to harness generalized knowledge tailored for time series analysis. This survey aims to furnish a comprehensive and up-to-date overview of FMs for time series analysis. While prior surveys have predominantly focused on either application or pipeline aspects of FMs in time series analysis, they have often lacked an in-depth understanding of the underlying mechanisms that elucidate why and how FMs benefit time series analysis. To address this gap, our survey adopts a methodology-centric classification, delineating various pivotal elements of time-series FMs, including model architectures, pre-training techniques, adaptation methods, and data modalities. Overall, this survey serves to consolidate the latest advancements in FMs pertinent to time series analysis, accentuating their theoretical underpinnings, recent strides in development, and avenues for future exploration.

한 줄 요약

시계열 분석을 위한 Foundation Models(FMs)의 최신 연구와 방법론적 분류를 체계적으로 정리한 서베이 논문.

핵심 기여도

**Time Series Foundation Models(TSFMs)**에 대한 체계적인 method-centric 분류를 제시.
**모델 아키텍처**, **프리트레이닝 기법**, **적응 방법**, **데이터 모달리티**를 기준으로 분류.
**표준 시계열**, **공간 시계열**, **트래젝토리**, **이벤트 시퀀스**를 포함한 다양한 시계열 유형을 다룸.
**Transformer**, **비-Transformer**, **Diffusion-based 모델** 등 주요 아키텍처를 분석.

핵심 아이디어

이 논문은 기존 시계열 분석에서 사용되는 Foundation Models(FMs)의 핵심 메커니즘을 이해하고, 이를 다양한 시계열 타입에 적용하는 방법을 탐구한다. 기존 연구는 주로 데이터 또는 파이프라인 관점에서 접근했으나, 본 논문은 **methodology-centric** 관점에서 FMs의 핵심 요소를 분류함으로써, **왜**, **어떻게** FMs가 시계열 분석에 효과적인지를 명확히 설명한다. 특히, **Transformer 기반 모델**이 시계열의 시퀀셜 구조를 효과적으로 학습할 수 있다는 점을 강조하며, **프리트레이닝**과 **적응 기법**을 통해 다양한 도메인에서의 일반화 능력을 확보할 수 있음을 제시한다. 또한, **Trajectory**와 **Event Sequence**와 같은 비표준 시계열 데이터도 FMs의 적용 가능성을 탐색한다.

기술적 접근법

**모델 아키텍처**: **Transformer**, **비-Transformer**, **Diffusion-based 모델**을 포함.
**프리트레이닝 기법**: **Supervised**, **Self-supervised** 학습을 통해 대규모 데이터에서 일반화된 표현 학습.
**적응 기법**: **Fine-tuning**, **Few-shot learning** 등을 통해 특정 태스크에 맞춘 모델 조정.
**데이터 모달리티**: **단일 모달리티**(시계열, 텍스트, 이미지, 오디오) 및 **다중 모달리티**를 고려.
**시계열 유형**: **Standard Time Series**, **Spatial Time Series**, **Trajectory**, **Event Sequence**를 구분하여 분석.

주요 결과

**Transformer 기반 모델**이 시계열 분석에서 뛰어난 성능을 보임.
**Spatial Time Series**는 **Spatio-temporal graph**와 **raster** 형태로 구분되어 분석 가능.
**Trajectory**는 2차원 좌표로 표현된 시계열로, 이동 패턴 분석에 활용 가능.
**Event Sequence**는 이벤트와 타임스탬프로 구성된 시계열로, 행동 분석에 적합.
**FMs**는 **Zero-shot**, **Few-shot** 환경에서도 높은 성능을 유지.

의의 및 한계

본 논문은 **Time Series Foundation Models**의 이론적 기반과 실제 적용 가능성을 체계적으로 정리함으로써, 시계열 분석 분야의 연구 및 개발을 촉진하는 데 기여한다. 특히, **Transformer**와 **Diffusion-based 모델**의 활용은 시계열 분석에서 새로운 연구 방향을 제시한다. 그러나, **실제 산업 적용 사례**나 **정량적 성능 비교 수치**는 명시되지 않아, 향후 연구에서는 구체적인 성능 평가와 벤치마킹이 필요하다. 또한, **다중 모달리티 학습**의 효과성은 아직 충분히 검증되지 않았다.

실용적 활용

이 연구는 **금융**, **의료**, **에너지**, **교통**, **도시 컴퓨팅** 등 다양한 분야에서 시계열 데이터를 분석하는 데 활용될 수 있다. 특히, **Transformer 기반 FMs**는 **예측**, **이상 탐지**, **패턴 분석** 등 다양한 시계열 태스크에서 실용적 가치를 제공할 수 있다. **Trajectory 분석**은 **자율주행**, **물류 최적화**에, **Event Sequence 분석**은 **사건 기반 분석 시스템**에 적용 가능하다.