Tiny Time Mixers (TTMs): Fast Pre-trained Models for Enhanced Zero/Few-Shot Forecasting of Multivariate Time Series

Large pre-trained models excel in zero/few-shot learning for language and vision tasks but face challenges in multivariate time series (TS) forecasting due to diverse data characteristics. Consequently, recent research efforts have focused on developing pre-trained TS forecasting models. These models, whether built from scratch or adapted from large language models (LLMs), excel in zero/few-shot forecasting tasks. However, they are limited by slow performance, high computational demands, and neglect of cross-channel and exogenous correlations. To address this, we introduce Tiny Time Mixers (TTM), a compact model (starting from 1M parameters) with effective transfer learning capabilities, trained exclusively on public TS datasets. TTM, based on the light-weight TSMixer architecture, incorporates innovations like adaptive patching, diverse resolution sampling, and resolution prefix tuning to handle pre-training on varied dataset resolutions with minimal model capacity. Additionally, it employs multi-level modeling to capture channel correlations and infuse exogenous signals during fine-tuning. TTM outperforms existing popular benchmarks in zero/few-shot forecasting by (4-40%), while reducing computational requirements significantly. Moreover, TTMs are lightweight and can be executed even on CPU-only machines, enhancing usability and fostering wider adoption in resource-constrained environments. The model weights for reproducibility and research use are available at https://huggingface.co/ibm/ttm-research-r2/, while enterprise-use weights under the Apache license can be accessed as follows: the initial TTM-Q variant at https://huggingface.co/ibm-granite/granite-timeseries-ttm-r1, and the latest variants (TTM-B, TTM-E, TTM-A) weights are available at https://huggingface.co/ibm-granite/granite-timeseries-ttm-r2.

한 줄 요약

Tiny Time Mixers (TTMs)는 1M 파라미터의 경량 모델로, 다양한 해상도의 데이터셋에서 사전 학습하여 4~40% 개선된 제로/페 샷 예측 성능을 달성한다.

핵심 기여도

TTM은 1M 파라미터의 경량 모델로, 기존 대형 모델 대비 2-3배 빠른 계산 속도를 제공.
Adaptive Patching (AP), Diverse Resolution Sampling (DRS), Resolution Prefix Tuning (RPT) 기법을 도입하여 다양한 해상도 데이터셋에서 사전 학습 가능.
Multi-level Modeling을 통해 채널 간 상관관계와 외부 요인 신호를 효과적으로 모델링.
제로/페 샷 예측에서 기존 베이스라인 대비 4~40% 개선된 성능을 보임.

핵심 아이디어

TTM은 기존 대형 시계열 사전 학습 모델이 높은 계산 비용과 느린 속도로 인해 제한적이었음을 지적하고, 대신 경량 모델로도 뛰어난 전이 학습이 가능하다는 새로운 통찰을 제시한다. TSMixer 기반의 구조는 Transformer의 제곱 복잡도를 피하면서도 정확도를 유지하며, AP, DRS, RPT 기법을 통해 다양한 해상도 데이터셋에서 효과적인 사전 학습이 가능하다. 특히, DRS는 250M에서 1B 샘플로 확장할 때 6%의 성능 향상을 보였으며, RPT는 3%의 추가 개선을 제공함.

기술적 접근법

**모델 아키텍처**: TSMixer 기반, 간단한 게이티드 어텐션과 MLPMixer 블록 사용.
**사전 학습 데이터**: Monash와 LibCity 데이터셋 (약 1B 샘플), 다양한 해상도 (초 단위 ~ 일 단위) 포함.
**핵심 기법**:
**Adaptive Patching (AP)**: 레이어별 패치 길이 조정.
**Diverse Resolution Sampling (DRS)**: 해상도 다양성 증대를 위한 데이터 증강.
**Resolution Prefix Tuning (RPT)**: 해상도 정보를 첫 번째 패치에 임베딩.
**Multi-level Modeling**: 채널 독립적 사전 학습 후, 채널 혼합을 통한 미세 조정.

주요 결과

**제로/페 샷 예측 성능**: 기존 베이스라인 대비 4~40% 개선.
**데이터셋**: Monash, LibCity 등 다양한 해상도와 도메인의 공개 데이터셋.
**성능 향상 요인**: DRS는 250M에서 1B 샘플로 확장 시 6% 성능 향상, RPT는 3% 추가 개선.
**예측 길이 적응**: Pruning과 Recursive 방식으로 다양한 예측 길이 (96, 192, 336, 720)에 대응 가능.

의의 및 한계

TTM은 제로/페 샷 예측에서 경량 모델로도 뛰어난 성능을 보이며, 자원 제약 환경에서의 실용성을 높인다. 특히, 기존 대형 모델이 수십억 개의 파라미터를 요구하는 반면, TTM은 1M 파라미터로도 뛰어난 전이 학습이 가능하다는 점에서 혁신적이다. 그러나, 매우 복잡한 다변량 상관관계나 고주파 신호를 다루는 데에는 한계가 있을 수 있다. 또한, 사전 학습 데이터의 질과 해상도 다양성이 모델 성능에 큰 영향을 미치므로, 데이터셋의 품질 관리가 필수적이다.

실용적 활용

TTM은 CPU 기반 장비에서도 실행 가능한 경량 모델로, 자원 제약이 있는 산업 현장 (예: 제조, 에너지, 물류)에서 실시간 시계열 예측에 활용 가능하다. 또한, 다양한 해상도와 도메인의 데이터를 처리할 수 있어, 기업의 맞춤형 예측 시스템 구축에도 유용하다.