Sundial: A Family of Highly Capable Time Series Foundation Models

We introduce Sundial, a family of native, flexible, and scalable time series foundation models. To predict the next-patch's distribution, we propose a TimeFlow Loss based on flow-matching, which facilitates native pre-training of Transformers on continuous-valued time series without discrete tokenization. Conditioned on arbitrary-length time series, our models are pre-trained without specifying any prior distribution and can generate multiple probable predictions, achieving more flexibility in representation learning than using parametric densities. Towards time series foundation models, we leverage minimal but crucial adaptations of Transformers and curate TimeBench with one trillion time points, comprising mostly real-world datasets and synthetic data. By mitigating mode collapse via TimeFlow Loss, we pre-train a family of Sundial models on TimeBench, which achieve unprecedented model capacity and generalization performance. In addition to excellent scalability, Sundial achieves state-of-the-art results on both point and probabilistic forecasting benchmarks with a just-in-time inference speed, i.e., making zero-shot predictions within a few milliseconds. We believe that Sundial's pioneering generative forecasting capability can improve model reliability in real-world decision-making. Code is available at: https://github.com/thuml/Sundial.

한 줄 요약

Sundial은 TimeFlow Loss를 도입한 확장성 높은 시계열 생성 모델로, 1조 개의 시계열 포인트로 사전 학습되어 최신 성능을 달성한다.

핵심 기여도

**TimeFlow Loss**를 제안하여, 이산 토큰화 없이 Transformer를 연속 시계열에 사전 학습 가능하게 함.
**TimeBench**라는 1조 개의 시계열 포인트를 포함한 대규모 데이터셋을 정리하여 사전 학습에 활용.
**Sundial Small, Base, Large** 모델이 TSLib, GIFT-Eval, FEV 벤치마크에서 최고 성능을 달성.
**즉시 추론**(just-in-time inference)으로 수 밀리초 내 zero-shot 예측 가능.

핵심 아이디어

기존 시계열 생성 모델은 이산 토큰화를 통해 예측 분포를 학습하지만, 이는 연속값 시계열의 본질적 특성을 제한할 수 있다. Sundial은 **TimeFlow Loss**를 도입하여, 연속값 시계열을 이산화 없이 학습하고, **모드 콜랩스**(mode collapse)를 완화함으로써 더 유연한 분포를 학습한다. 이는 확률적 예측에서 더 높은 신뢰도를 제공한다. 또한, **RoPE, Pre-LN, FlashAttention, KV Cache** 등의 Transformer 최적화 기법을 적용하여, 긴 문맥 처리와 빠른 추론을 가능하게 한다. 이는 기존 시계열 기초 모델에서 일반적으로 간과되었던 핵심 기술적 개선이다.

기술적 접근법

**TimeFlow Loss**: flow-matching 기반의 예측 분포 학습 목적 함수로, 이산 토큰화 없이 Transformer를 학습.
**Patch Tokenization**: 임의 길이의 시계열을 패치 단위로 토큰화하여 모델 입력에 적응.
**Transformer 최적화**: RoPE, Pre-LN, FlashAttention, KV Cache 적용.
**Multi-patch Prediction**: 자동 회귀 단계를 줄이기 위해 여러 패치를 동시에 예측.
**TimeBench**: 1조 개의 시계열 포인트를 포함한 대규모 데이터셋으로 사전 학습.
**최대 문맥 길이**: 2880.

주요 결과

**ETTm1** 데이터셋에서 Sundial Small은 MSE 0.354, MAE 0.388 성능을 달성.
**ETTh2** 데이터셋에서 Sundial Base는 MSE 0.333, MAE 0.387로 기존 모델 대비 개선.
**TSLib, GIFT-Eval, FEV** 벤치마크에서 Sundial은 기존 최고 성능 모델을 상회.
**Zero-shot 예측 속도**: 수 밀리초 이내로, 실시간 적용 가능.

의의 및 한계

Sundial은 시계열 기초 모델에서 **생성적 예측**(generative forecasting)을 본격적으로 도입한 첫 사례로, 확률적 예측의 신뢰도를 높이는 데 기여한다. 또한, **TimeBench**는 시계열 기초 모델 연구에 중요한 데이터 자산을 제공한다. 그러나, 모델의 **확장성**(예: Ultra 버전 미포함)과 **실제 세계 데이터셋에 대한 일반화 능력**은 추가 연구가 필요하다. 또한, 일부 데이터셋(예: ECL)에서는 성능이 명시되지 않아 완전한 평가가 어려울 수 있다.

실용적 활용

Sundial은 금융, 에너지, 의료 등 **실시간 시계열 예측이 필요한 산업**에 적용 가능하다. 특히, **확률적 예측**을 통해 불확실성 관리를 요구하는 의사결정 시스템에서 유용하며, **zero-shot 성능**은 사전 학습 모델의 즉시 활용 가능성을 높인다.