MOMENT: A Family of Open Time-series Foundation Models

We introduce MOMENT, a family of open-source foundation models for general-purpose time series analysis. Pre-training large models on time series data is challenging due to (1) the absence of a large and cohesive public time series repository, and (2) diverse time series characteristics which make multi-dataset training onerous. Additionally, (3) experimental benchmarks to evaluate these models, especially in scenarios with limited resources, time, and supervision, are still in their nascent stages. To address these challenges, we compile a large and diverse collection of public time series, called the Time series Pile, and systematically tackle time series-specific challenges to unlock large-scale multi-dataset pre-training. Finally, we build on recent work to design a benchmark to evaluate time series foundation models on diverse tasks and datasets in limited supervision settings. Experiments on this benchmark demonstrate the effectiveness of our pre-trained models with minimal data and task-specific fine-tuning. Finally, we present several interesting empirical observations about large pre-trained time series models. Pre-trained models (AutonLab/MOMENT-1-large) and Time Series Pile (AutonLab/Timeseries-PILE) are available on Huggingface.

한 줄 요약

MOMENT는 다양한 시간 시계열 분석을 위한 오픈소스 기초 모델로, Time-series Pile 데이터셋과 마스킹 기반 사전 학습을 통해 제한된 데이터에서도 뛰어난 성능을 보인다.

핵심 기여도

**Time-series Pile**: 5개 이상의 공개 시간 시계열 데이터베이스를 통합한 대규모 데이터셋을 구축.
**다중 데이터셋 사전 학습**: 다양한 길이, 해상도, 채널 수를 처리할 수 있는 방식으로, 512 길이의 고정 입력을 사용.
**제한된 지도 환경 평가**: 5가지 시계열 작업(예측, 분류, 이상 탐지 등)에서 제한된 데이터/지도 조건에서 평가 벤치마크를 설계.
**MOMENT-1-large 모델**: Huggingface에서 공개된 사전 학습 모델로, 다양한 작업에서 최소한의 파인튜닝으로도 뛰어난 성능을 보임.

핵심 아이디어

MOMENT는 기존 시계열 모델이 단일 데이터셋에 의존하거나, 다양한 시계열 특성(해상도, 길이, 채널 수 등)을 처리하기 어려운 문제를 해결하기 위해 설계되었다. 이를 위해, **Time-series Pile**이라는 대규모 공개 데이터셋을 구축하고, **마스킹 기반 시계열 예측**(masked time-series prediction)을 통해 사전 학습을 수행한다. 모델은 고정 길이(512)의 단일 채널 시계열을 입력으로 받아, **패치 기반**(patch-based) 임베딩을 생성하고, **트랜스포머 인코더**를 통해 학습한 후, **재구성 헤드**(reconstruction head)를 사용해 마스킹된 부분을 복원한다. 이는 시계열의 전체 구조를 학습하는 데 효과적이다. 또한, **가변 길이 처리**, **다중 채널 처리**, **가속화된 학습**(가벼운 예측 헤드 사용) 등도 핵심 설계 요소이다.

기술적 접근법

**모델 아키텍처**: 트랜스포머 기반 인코더를 사용하며, **가역 인스턴스 정규화**(reversible instance normalization)를 적용해 다양한 시계열 분포를 학습.
**입력 처리**: 고정 길이(512)의 단일 채널 시계열을 입력으로 받고, **패치 분할**(patch segmentation)을 통해 메모리 및 계산 복잡도를 줄임.
**마스킹 예측**: **[MASK]** 임베딩을 사용해 일부 시계열을 마스킹하고, **트랜스포머 인코더**를 통해 복원.
**예측 헤드**: **가벼운**(lightweight) 헤드를 사용해 재구성.
**사전 학습 데이터**: **Time-series Pile**에 포함된 5개 이상의 공개 데이터베이스를 사용.
**하이퍼파라미터**: 패치 길이(P), 임베딩 차원(D), 입력 길이(T=512) 등이 명시됨.

주요 결과

**제한된 데이터 성능**: MOMENT는 **제한된 데이터**(zero-shot, few-shot) 환경에서도 뛰어난 성능을 보임.
**다양한 작업 성능**: 5가지 시계열 작업(예측, 분류, 이상 탐지, 보간 등)에서 **기존 최고 성능**(SOTA) 모델 대비 경쟁력 있는 성능.
**분류 및 이상 탐지**: 특히 데이터가 적은 분류 및 이상 탐지 작업에서 **사전 학습 효과**가 두드러짐.
**모델 크기 영향**: **모델 크기**(large)가 성능 향상에 긍정적 영향을 미침.
**비교 대상**: **통계적 방법** 및 **얕은 딥러닝 모델** 대비 MOMENT가 더 높은 정확도를 보임.

의의 및 한계

MOMENT는 **오픈소스**로 제공되며, 다양한 시계열 작업에서 **제한된 데이터/지도 조건**에서도 뛰어난 성능을 보이는 점에서 학술적·실용적 가치가 높다. 특히, **Time-series Pile**은 대규모 다중 도메인 데이터를 기반으로 한 사전 학습을 가능하게 하며, **기초 모델**(foundation model)로서의 활용 가능성이 크다. 그러나, **시계열 해상도**(temporal resolution) 정보는 명시적으로 모델링하지 않아, 예측 작업에서는 제한이 있을 수 있다. 또한, **다중 모달**(multi-modal) 처리나 **복잡한 시계열 패턴**에 대한 연구는 아직 초기 단계이다.

실용적 활용

MOMENT는 **의료**(심전도 이상 탐지), **금융**(예측), **엔지니어링**(보간, 분류) 등 다양한 산업 분야에서 활용 가능하다. 특히, **데이터가 제한된 상황**(zero-shot, few-shot)에서 즉시 사용할 수 있어, **빠른 프로토타이핑**이나 **실시간 분석 시스템**에 적합하다. 또한, **Huggingface**에서 공개된 모델을 통해 연구자 및 엔지니어가 쉽게 접근 및 활용할 수 있다.