TinyCast: Probabilistic Zero-Shot Forecasting with Computed Periodicity

We introduce TinyCast, an attention-free zero-shot forecaster that emits a predictive distribution from 146,505 parameters, on the premise that at this size the periodic structure of a context is worth computing rather than learning. A zero-parameter spectral detector supplies the dominant periods, the context is folded on their phase, and a dilated convolutional encoder and a block-autoregressive quantile decoder model the rest. It is smaller than every zero-shot entry on the GIFT-Eval board whose parameter count can be established. On probabilistic accuracy it defines the size-accuracy frontier. Among zero-shot entries declaring no test-data leakage it is the only one below 1.4M parameters that emits a predictive distribution, and every entry scoring better carries at least that budget. On Chronos-ZS and fev-bench every neural model ahead of it carries at least 28 times its parameters. Because the mixing path is convolutions and matrix multiplications only, it exports to static INT8 and forecasts end to end on an embedded device without per-signal fitting.

한 줄 요약

TinyCast는 146,505개의 파라미터로 주기성을 계산하고 확률적 예측을 제공하는 attention-free zero-shot 예측 모델이다.

핵심 기여도

주기성 구조를 학습 대신 계산하여 파라미터를 절약: zero-parameter spectral detector로 주기 추출.
GIFT-Eval 보드에서 파라미터 수 기준 가장 작은 zero-shot 모델: 1.4M 미만.
확률적 예측을 제공하는 zero-shot 모델 중 유일: test-data leakage 없이 1.4M 미만.
720단계 예측에서 9개의 quantile을 block-autoregressive 방식으로 생성.

핵심 아이디어

TinyCast는 주기성 구조를 학습 대신 계산함으로써, 제한된 파라미터 예산(146,505개) 내에서 확률적 예측을 가능하게 한다. 기존 zero-shot 모델은 주기성을 학습하는 데 많은 파라미터를 소모하지만, TinyCast는 zero-parameter spectral detector를 사용해 주기를 계산하고, 이를 기반으로 context를 phase에 맞춰 fold하여 학습 파라미터를 다른 구조에 집중한다. 이는 파라미터 예산이 작을수록, 고정된 계산으로 얻을 수 있는 정보를 최대한 활용하는 전략이다.

핵심 통찰은, 주기성은 학습보다 계산으로 더 효율적으로 처리할 수 있으며, 이는 확률적 예측의 정확도를 유지하면서도 모델 크기를 줄이는 데 기여한다는 점이다. 특히, block-autoregressive quantile decoder는 9개의 quantile을 동시에 예측하며, 확률적 신뢰도를 제공한다.

기술적 접근법

**모델 구성**: zero-parameter spectral detector, positional encoding, dilated convolutional encoder, block-autoregressive quantile decoder.
**주기 추출**: Fourier transform 기반의 zero-parameter spectral detector로 주기 추출.
**context folding**: 추출된 주기의 phase에 따라 context를 fold.
**예측 방식**: block-autoregressive 방식으로 48개 단계씩 9개의 quantile 예측.
**학습 연산**: 모든 연산이 convolution, matrix multiplication, normalization, elementwise gate로 이루어져 INT8 정적 그래프로 변환 가능.
**하이퍼파라미터**: 파라미터 수 146,505개, block length 48, 예측 단계 720.

주요 결과

GIFT-Eval 보드에서 파라미터 수 기준 가장 작은 zero-shot 모델.
확률적 정확도 측면에서 size-accuracy frontier를 정의: 1.4M 미만 파라미터 중 유일한 확률적 예측 모델.
Chronos-ZS와 fev-bench에서 성능을 앞서는 모델은 모두 28배 이상의 파라미터를 사용.
테스트 데이터 누수 없이 확률적 예측을 제공하는 유일한 1.4M 미만 모델.
INT8 정적 그래프로 변환되어 embedded device에서 end-to-end 예측 가능.

의의 및 한계

TinyCast는 확률적 zero-shot 예측을 제한된 파라미터 예산(146,505개) 내에서 가능하게 하며, 기존 zero-shot 모델이 1.4M 이상의 파라미터를 요구하는 것과 대조된다. 특히, embedded device에서 실행 가능한 점은 실용적 가치가 높다. 주기성 계산을 통해 파라미터를 절약한 점은, 모델의 확률적 예측 능력을 유지하면서도 크기를 줄이는 데 기여한다.

그러나, 주기성이 뚜렷하지 않은 시계열에서는 성능이 낮아질 수 있다. 실험 결과, Reverso-Nano와 비교했을 때, 비시즌성 시계열에서는 상대적으로 낮은 성능을 보였다. 이는 주기성 계산에 의존하는 모델의 한계로, 비시즌성 구조를 학습하는 데는 추가 파라미터가 필요할 수 있다.

실용적 활용

TinyCast는 embedded device에서 실행 가능한 확률적 zero-shot 예측 모델로, 에너지, 산업 모니터링, 물류, 환경 감지 등에서 실시간 예측과 신뢰도 평가가 필요한 상황에 적합하다. 특히, 테스트 데이터 누수 없이 확률적 예측을 제공하므로, 제어 루프나 경고 임계치 설정에 활용할 수 있다.