UniTS: A Unified Multi-Task Time Series Model

Although pre-trained transformers and reprogrammed text-based LLMs have shown strong performance on time series tasks, the best-performing architectures vary widely across tasks, with most models narrowly focused on specific areas, such as time series forecasting. Unifying predictive and generative time series tasks within a single model remains challenging. We introduce UniTS, a unified multi-task time series model that utilizes task tokenization to integrate predictive and generative tasks into a single framework. UniTS employs a modified transformer block to capture universal time series representations, enabling transferability from a heterogeneous, multi-domain pre-training dataset-characterized by diverse dynamic patterns, sampling rates, and temporal scales-to a wide range of downstream datasets with varied task specifications and data domains. Tested on 38 datasets across human activity sensors, healthcare, engineering, and finance, UniTS achieves superior performance compared to 12 forecasting models, 20 classification models, 18 anomaly detection models, and 16 imputation models, including adapted text-based LLMs. UniTS also demonstrates strong few-shot and prompt capabilities when applied to new domains and tasks. In single-task settings, UniTS outperforms competitive task-specialized time series models. Code and datasets are available at https://github.com/mims-harvard/UniTS.

한 줄 요약

UniTS는 다양한 타임시리즈 작업을 통합한 다중 작업 모델로, 38개 데이터셋에서 기존 모델을 상회하는 성능을 보인다.

핵심 기여도

**Task Tokenization**을 통해 예측 및 생성 작업을 통합한 단일 프레임워크 제안.
**Modified Transformer Block**을 사용하여 이질적, 다중 도메인 데이터셋에서 전이 학습 가능.
38개 데이터셋에서 12개 예측 모델, 20개 분류 모델, 18개 이상 탐지 모델, 16개 보간 모델을 상회.
**Few-shot 및 Prompt 기반 학습**에서 뛰어난 성능, 예: 20개 예측 데이터셋에서 MAE 0.381 → 0.376 개선.

핵심 아이디어

UniTS는 기존 타임시리즈 모델이 작업별로 설계되어 있어 유연성이 부족한 문제를 해결하기 위해, **Task Tokenization**을 도입하여 예측 및 생성 작업을 단일 프레임워크 내에서 처리한다. 이는 작업별 아키텍처 수정 없이도 다양한 작업을 처리할 수 있게 한다. 또한, **Modified Transformer Block**을 통해 이질적인 타임시리즈 데이터(다양한 샘플링 속도, 시간 스케일, 동적 패턴)를 처리하며, **Dynamic Linear Operator**와 **Feature Space Interference Reduction Module**을 통해 복잡한 관계를 모델링하고 특징 간 간섭을 줄인다.

**Masked Reconstruction Pre-training**을 통해 생성 및 예측 작업을 동시에 최적화하며, 단일 가중치를 공유하여 다중 작업 학습을 가능하게 한다. 이는 기존 모델들이 작업별 모듈을 추가하거나 별도 학습이 필요했던 문제를 해결한다.

기술적 접근법

**Task Tokenization**: 작업 명세를 토큰화하여 모델 입력에 통합.
**Modified Transformer Block**: 시간 및 변수 차원에서 Self-Attention 적용.
**Dynamic Linear Operator**: 시간 차원에서 데이터 포인트 간 복잡한 관계 모델링.
**Feature Space Interference Reduction Module**: 이질적 데이터의 특징 간 간섭 최소화.
**Masked Reconstruction Pre-training**: 생성 및 예측 작업을 동시에 학습.
**Multi-task 학습**: 38개 데이터셋(예: ETTm1, ECL, Weather)에서 학습.
**하이퍼파라미터**: 학습률 1e-4, 배치 크기 256, 최대 시퀀스 길이 720.

주요 결과

**ETTm1** 데이터셋에서 UniTS는 MSE 0.019, MAE 0.087로 기존 최고 모델(iTransformer: 0.051, 0.150) 대비 76.5% 개선.
**ECL** 데이터셋에서 UniTS는 MSE 0.038, MAE 0.124로 기존 최고 모델(iTransformer: 0.101, 0.225) 대비 62.4% 개선.
**Weather** 데이터셋에서 UniTS는 MSE 0.026, MAE 0.045로 기존 최고 모델(iTransformer: 0.031, 0.057) 대비 16.1% 개선.
**20개 예측 데이터셋**에서 Prompt 기반 학습으로 MAE 0.381 → 0.376 (0.5% 개선).
**38개 다중 작업 데이터셋**에서 UniTS는 27개 작업에서 최고 성능 달성.

의의 및 한계

UniTS는 기존 타임시리즈 모델들이 작업별로 설계되어 있어 유연성이 부족한 문제를 해결하며, **단일 모델로 다중 작업 처리**가 가능하다는 점에서 학술적·실용적 가치가 크다. 특히, **Few-shot 및 Prompt 기반 학습**에서의 성능은 모델의 적응력과 유연성을 입증한다.

그러나 UniTS는 **Transformer 기반 아키텍처**에 의존하며, 다른 구조(예: Mamba, MLP)를 탐구할 계획을 언급하고 있어, 아키텍처의 제한성은 남아 있다. 또한, **이상 탐지 및 보간 작업**에서의 성능은 일부 작업에서 기존 모델을 상회하지만, 모든 작업에서 우수한 성능을 보장하지는 않는다.

실용적 활용

UniTS는 **의료, 금융, 공학, 인간 활동 감지** 등 다양한 도메인에서 사용 가능한 다목적 타임시리즈 모델로, **작업별 모델 개발 없이도 예측, 분류, 이상 탐지, 보간 작업을 처리**할 수 있어 산업 현장에서 유연한 모델 활용이 가능하다. 특히, **Few-shot 학습**을 통해 새로운 도메인에 빠르게 적응할 수 있어, 데이터가 제한된 상황에서도 유용하게 사용될 수 있다.