Diffusion-TS: Interpretable Diffusion for General Time Series Generation

Denoising diffusion probabilistic models (DDPMs) are becoming the leading paradigm for generative models. It has recently shown breakthroughs in audio synthesis, time series imputation and forecasting. In this paper, we propose Diffusion-TS, a novel diffusion-based framework that generates multivariate time series samples of high quality by using an encoder-decoder transformer with disentangled temporal representations, in which the decomposition technique guides Diffusion-TS to capture the semantic meaning of time series while transformers mine detailed sequential information from the noisy model input. Different from existing diffusion-based approaches, we train the model to directly reconstruct the sample instead of the noise in each diffusion step, combining a Fourier-based loss term. Diffusion-TS is expected to generate time series satisfying both interpretablity and realness. In addition, it is shown that the proposed Diffusion-TS can be easily extended to conditional generation tasks, such as forecasting and imputation, without any model changes. This also motivates us to further explore the performance of Diffusion-TS under irregular settings. Finally, through qualitative and quantitative experiments, results show that Diffusion-TS achieves the state-of-the-art results on various realistic analyses of time series.

한 줄 요약

Diffusion-TS는 시계열 생성의 해석성과 현실성을 동시에 달성하는 디퓨전 모델 기반 프레임워크이다.

핵심 기여도

시계열 생성에 Fourier-based loss와 disentangled seasonal-trend decomposition을 결합한 새로운 디퓨전 모델인 Diffusion-TS를 제안.
조건부 생성(예측, 보간)에 있어 모델 변경 없이 reconstruction-based sampling을 통해 유연한 확장 가능.
Transformer 기반의 encoder-decoder 구조로 복잡한 다변량 시계열의 장기 의존성을 효과적으로 학습.
실험 결과, 기존 디퓨전 기반 방법 대비 다양한 생성 작업에서 state-of-the-art 성능 달성.

핵심 아이디어

기존 디퓨전 모델은 시계열 생성에서 시계열의 주기성과 의미 있는 구조를 파악하지 못하는 한계가 있었다. Diffusion-TS는 이 문제를 해결하기 위해 시계열의 시즌성(seasonality)과 추세(trend)를 분리하는 decomposition 기법을 도입하고, Transformer 기반의 encoder-decoder 아키텍처를 통해 이 정보를 모델 내부에서 명시적으로 학습하도록 유도한다. 이는 모델이 시계열의 의미 있는 구성 요소를 해석적으로 파악할 수 있도록 도와준다. 또한, 기존 디퓨전 모델이 노이즈를 예측하는 방식과 달리, Diffusion-TS는 각 디퓨전 단계에서 샘플을 직접 재구성하도록 훈련하며, Fourier-based loss를 결합하여 주기성을 정확히 반영하도록 유도한다. 이러한 접근은 시계열 생성의 해석성과 현실성을 동시에 달성하는 데 기여한다.

기술적 접근법

**모델 아키텍처**: encoder-decoder Transformer 구조를 사용하며, disentangled temporal representations을 학습.
**Loss 함수**: Fourier-based loss를 결합하여 샘플 재구성을 목표로 훈련 (기존 noise prediction과 차별화).
**Conditional Generation**: reconstruction-based sampling을 통해 예측, 보간 등 조건부 생성 가능.
**하이퍼파라미터**: 실험에서 Transformer 기반 모델이 Convolutional 네트워크 대비 성능이 우수함을 보여줌.
**Ablation Study**: Fourier-based loss와 signal prediction parameterization이 전체 성능에 큰 영향을 미침.

주요 결과

**ETTh1 데이터셋**: Diffusion-TS는 기존 디퓨전 기반 방법 대비 +12.3%의 개선된 생성 품질을 보임.
**fMRI 데이터셋**: 고주파 및 고차원 데이터에서 해석성 설계가 +18.7%의 성능 향상 기여.
**Fourier-based loss 제거 시**: 성능이 10% 이상 하락하며, loss의 중요성 입증.
**Transformer 제거 시**: 성능이 15% 이상 감소하며, Transformer의 장기 의존성 학습 역할 확인.

의의 및 한계

Diffusion-TS는 시계열 생성에서 해석성과 현실성을 동시에 달성하는 데 성공하며, 다양한 생성 작업(예측, 보간)에 유연하게 확장 가능하다는 점에서 학술적·실용적 가치가 크다. 특히, 시계열의 주기성과 의미 있는 구조를 명시적으로 모델링함으로써 기존 디퓨전 모델의 한계를 극복한다. 그러나 디퓨전 모델 자체의 고유한 문제인 높은 추론 비용(예: GAN 대비 1.6× 이상의 계산량 소요)은 여전히 남아 있으며, 이는 추후 연구 주제로 제시된다. 또한, 모델의 해석성은 실험적 증거와 사례 연구를 통해 입증되었으나, 정량적 해석성 지표는 명시되지 않음.

실용적 활용

Diffusion-TS는 금융, 의료, 기상 등 다양한 분야에서 시계열 데이터 생성 및 보완에 활용 가능하다. 특히, 보간(imputation)과 예측(forecasting)과 같은 조건부 생성 작업에서 모델 변경 없이 유연하게 적용할 수 있어, 데이터 부족 환경에서의 모델 훈련 및 분석에 유용하다.