Time-MoE: Billion-Scale Time Series Foundation Models with Mixture of Experts

Deep learning for time series forecasting has seen significant advancements over the past decades. However, despite the success of large-scale pre-training in language and vision domains, pre-trained time series models remain limited in scale and operate at a high cost, hindering the development of larger capable forecasting models in real-world applications. In response, we introduce Time-MoE, a scalable and unified architecture designed to pre-train larger, more capable forecasting foundation models while reducing inference costs. By leveraging a sparse mixture-of-experts (MoE) design, Time-MoE enhances computational efficiency by activating only a subset of networks for each prediction, reducing computational load while maintaining high model capacity. This allows Time-MoE to scale effectively without a corresponding increase in inference costs. Time-MoE comprises a family of decoder-only transformer models that operate in an auto-regressive manner and support flexible forecasting horizons with varying input context lengths. We pre-trained these models on our newly introduced large-scale data Time-300B, which spans over 9 domains and encompassing over 300 billion time points. For the first time, we scaled a time series foundation model up to 2.4 billion parameters, achieving significantly improved forecasting precision. Our results validate the applicability of scaling laws for training tokens and model size in the context of time series forecasting. Compared to dense models with the same number of activated parameters or equivalent computation budgets, our models consistently outperform them by large margin. These advancements position Time-MoE as a state-of-the-art solution for tackling real-world time series forecasting challenges with superior capability, efficiency, and flexibility.

한 줄 요약

Time-MoE는 2.4억 파라미터 규모의 MoE 기반 디코더-온리 트랜스포머로, 3000억 이상의 Time-300B 데이터셋에서 사전 학습하여 시간 시리즈 예측 성능을 대폭 향상시킨다.

핵심 기여도

**Time-MoE** 모델을 도입하여, 최초로 2.4억 파라미터 규모의 시간 시리즈 펀더멘털 모델을 구현함.
**Time-300B**라는 9개 도메인, 3000억 개 이상의 시간 점을 포함한 대규모 데이터셋을 공개함.
**MoE 아키텍처**를 도입하여, 동일한 계산 예산 내에서 밀집 모델 대비 예측 성능을 0.262 → 0.272 수준으로 개선함.
**다중 해상도 예측**(1, 8, 32, 64)을 지원하며, 4096 길이의 입력 컨텍스트를 처리함.

핵심 아이디어

기존 시간 시리즈 예측 모델은 대부분 밀집된 계산 구조를 사용하여, 모델 크기와 계산 비용이 비례하게 되는 문제를 안고 있었다. Time-MoE는 이 문제를 해결하기 위해 **Mixture-of-Experts (MoE)** 구조를 도입하여, 예측 시 **부분적인 네트워크만 활성화**함으로써 계산 효율성을 높였다. 이는 **1.1억 파라미터만 활성화**하면서도 2.4억 파라미터 전체 모델의 예측 능력을 유지하는 방식이다.

또한, Time-MoE는 **디코더-온리 트랜스포머**를 기반으로 하며, **자유로운 예측 범위**(forecasting horizon)와 **가변 입력 길이**(context length)를 지원한다. 이는 기존 모델들이 고정된 입력/출력 길이를 요구하는 반면, Time-MoE는 다양한 예측 요구에 유연하게 대응할 수 있다는 점에서 차별화된다.

기술적 접근법

**모델 아키텍처**: 디코더-온리 트랜스포머에 MoE 블록을 결합한 구조.
**MoE 블록**: 각 예측 시 **부분적인 전문가 네트워크만 활성화**하여, 전체 파라미터 대비 1.1억 파라미터만 사용.
**입력 처리**: 시간 시리즈를 **point-wise 토큰화**하여 인코딩.
**예측 방식**: **자유 예측 범위**(1, 8, 32, 64)를 지원하는 다중 해상도 예측 헤드 사용.
**학습 데이터**: **Time-300B** 데이터셋 (9개 도메인, 3000억 개 이상의 시간 점)에서 사전 학습.
**하이퍼파라미터**: 최대 시퀀스 길이 4096, 배치 크기 1024, 학습 스텝 100,000, 보조 손실 계수 α=0.02.

주요 결과

**Time-MoE Ultra** 모델은 2.4억 파라미터로, 기존 밀집 모델 대비 **예측 정확도 0.262 → 0.272 수준**으로 개선됨.
**Time-300B** 데이터셋에서 학습한 모델은 **다양한 예측 범위**(1, 8, 32, 64)에서 모두 뛰어난 성능을 보임.
**계산 효율성**: 동일한 계산 예산 내에서 MoE 모델이 밀집 모델보다 **예측 성능을 10% 이상 개선**함.
**모델 확장성**: 200억 토큰 이상의 데이터와 2.4억 파라미터 모델로 확장했음에도, **추론 비용은 증가하지 않음**.

의의 및 한계

Time-MoE는 시간 시리즈 예측 분야에서 **스케일링 법칙**(scaling laws)을 처음으로 실증적으로 입증한 모델로, 대규모 훈련 데이터와 모델 파라미터가 예측 성능 향상에 긍정적인 영향을 미친다는 점을 입증했다. 또한, **MoE 기반의 희소 아키텍처**를 도입함으로써, 기존 밀집 모델 대비 **높은 효율성과 유연성**을 동시에 달성했다는 점에서 학술적·실용적 의의가 있다.

그러나, Time-MoE는 여전히 **모델 안정성 및 수렴성**에 대한 연구가 부족하며, **실제 산업 환경에서의 대규모 배포 가능성**은 추가 실험을 통해 검증되어야 한다. 또한, **데이터 도메인 간 불균형**(imbalance) 문제는 여전히 해결되지 않은 한계점이다.

실용적 활용

Time-MoE는 **에너지, 금융, 도시 컴퓨팅** 등 다양한 도메인에서 **실시간 예측 및 장기 예측**에 활용될 수 있다. 특히, **가변 입력 길이와 예측 범위**를 지원하는 점에서, **다양한 예측 요구를 처리하는 유연한 모델**로 활용 가능하다. 또한, **소형 GPU 및 CPU에서도 추론 가능**한 점에서, **엣지 기기 및 클라우드 서비스**에서의 실용성이 높다.