SSDA: Bridging Spectral and Structural Gaps via Dual Adaptation for Vision-Based Time Series Forecasting

Large vision models (LVMs) have recently proven to be surprisingly effective time series forecasters, simply by rendering temporal data as images. This success, how ever, rests on a largely unexamined premise: the rendered time series images are sufficiently close to natural images for knowledge in pre-trained models to transfer effectively. We argue that two gaps still remain, i.e., spectral and structural gaps, fundamentally limiting the potential of LVMs for time series forecasting. Spectrally, we systematically reveal that rendered time series images exhibit a markedly shallower power spectrum than the natural images LVMs are pre-trained to recognize. Structurally, reshaping 1D temporal sequences into 2D grids fabricates spurious spatial adjacencies while severing genuine temporal continuities, misleading the spatial inductive biases of pre-trained LVMs. To bridge these gaps, we propose SSDA, a dual-branch network that spectrally and structurally adapts to unlock the full potential of LVMs for time series forecasting. At the data level, a Spectral Magnitude Aligner (SMA) applies 2D FFT to selectively enhance the magnitude spectrum toward natural-image statistics while preserving phase. At the model level, a Structural-Guided Low-Rank Adaptation (SG-LoRA) injects position-aware temporal encodings into patch embeddings and adapts at tention via low-rank updates. The two branches are further adaptively fused to produce the final forecast. Extensive experiments on seven real-world benchmarks demonstrate that SSDA consistently outperforms strong LVM- and LLM-based baselines under both full-shot and few-shot settings. Code is publicly available at https://anonymous.4open.science/r/SSDA-8C5B.

📋 한 줄 요약

**[시계열 예측 / 비전 파운데이션 모델]** 대형 비전 모델로 시계열을 이미지로 렌더해 예측할 때 발생하는 스펙트럼·구조적 격차를 진단하고, 양 격차를 동시에 좁히는 이중 분기 적응 프레임워크 SSDA 제안.

🎯 핵심 기여도

시계열을 이미지로 렌더했을 때 (1) 자연 이미지보다 훨씬 얕은 파워 스펙트럼을 가지는 스펙트럼 격차, (2) 1D 시퀀스의 2D 격자화가 가짜 공간 인접성을 만들고 진짜 시간적 연속성을 끊는 구조적 격차가 존재함을 체계적으로 드러냄.
데이터 레벨의 Spectral Magnitude Aligner(SMA)와 모델 레벨의 Structural-Guided Low-Rank Adaptation(SG-LoRA)을 결합한 이중 분기 네트워크 SSDA 설계.
두 분기 출력의 적응적 융합으로 최종 예측을 생성하는 통합 구조.
7개 실세계 벤치마크에서 full-shot/few-shot 모두 강력한 LVM·LLM 기반 베이스라인을 일관되게 능가.

💡 핵심 아이디어

"렌더된 시계열 이미지 ≈ 자연 이미지"라는 암묵적 전제는 깨져 있다. 스펙트럼 통계를 자연 이미지에 가깝게 정렬하고 구조적 사전 지식을 시간적 인코딩으로 주입하면, 비전 모델의 사전 학습 표현을 시계열 예측에 효과적으로 전이할 수 있다.

🔬 기술적 접근법

**모델/방법론**: 사전 학습 LVM 위에 데이터·모델 양쪽에서 적응하는 SSDA 이중 분기 네트워크.
**핵심 기법**: SMA는 2D FFT로 magnitude 스펙트럼을 자연 이미지 통계 쪽으로 선택적으로 강화하면서 phase는 보존; SG-LoRA는 위치-인식 시간 인코딩을 패치 임베딩에 주입하고 어텐션을 저랭크 업데이트로 적응; 두 분기 출력을 적응적으로 융합.

📊 주요 결과

7개 실세계 시계열 벤치마크에서 강한 LVM/LLM 기반 베이스라인을 모두 능가.
full-shot뿐 아니라 few-shot 시나리오에서도 일관된 우위.
코드 공개(https://anonymous.4open.science/r/SSDA-8C5B).

💭 의의 및 한계

**의의**: "이미지로 그리면 비전 파운데이션 모델이 시계열을 잘 푼다"는 최근 흐름의 전제를 비판적으로 검증하고, 실용적 해결책을 함께 제시. **한계**: 이미지 렌더링 자체에 의존하는 패러다임 안에서의 보정으로, 비-이미지 표현 기반 접근과의 근본 비교는 본문 범위 밖.

🚀 실용적 활용

LVM을 시계열 예측 백본으로 활용하는 산업 ML 파이프라인의 표준 적응 레이어.
데이터가 부족한 새 시계열 도메인에서 few-shot 예측 시스템 구축.
시계열-이미지 변환 기반 다른 비전 태스크(이상 탐지·분류)로의 확장 토대.