Are Language Models Actually Useful for Time Series Forecasting?

Large language models (LLMs) are being applied to time series forecasting. But are language models actually useful for time series? In a series of ablation studies on three recent and popular LLM-based time series forecasting methods, we find that removing the LLM component or replacing it with a basic attention layer does not degrade forecasting performance -- in most cases, the results even improve! We also find that despite their significant computational cost, pretrained LLMs do no better than models trained from scratch, do not represent the sequential dependencies in time series, and do not assist in few-shot settings. Additionally, we explore time series encoders and find that patching and attention structures perform similarly to LLM-based forecasters.

한 줄 요약

대형 언어 모델(LLM)은 시계열 예측에서 성능 개선에 기여하지 않으며, 단순한 대체 모듈이 더 효율적임을 밝힘.

핵심 기여도

세 가지 대표적인 LLM 기반 시계열 예측 모델에서 LLM을 제거하거나 기본 어텐션 레이어로 대체해도 성능 저하 없이, 오히려 개선됨.
사전 학습된 LLM은 시계열의 순차적 의존성을 표현하지 못하며, few-shot 학습에서도 도움이 되지 않음.
패치(Patching)와 어텐션 구조를 갖춘 단순한 인코더가 LLM 기반 예측기와 유사한 성능을 보임.
LLM 기반 모델은 학습 및 추론 시간이 기존 방법 대비 3자리 수준으로 증가함.

핵심 아이디어

LLM은 텍스트의 순차적 의존성을 잘 모델링한다는 점에서, 시계열 예측에 유용할 것으로 기대되지만, 이 연구는 실제로는 LLM이 시계열 문제에 기여하지 않는다는 점을 밝힘. 연구팀은 LLM을 제거하거나 기본 어텐션 레이어로 대체해도 성능이 유지되거나 향상됨을 실험적으로 증명함. 특히, LLM의 사전 학습은 시계열 예측 성능에 영향을 주지 않으며, 입력 시계열을 섞어도 성능 저하가 없어 LLM이 순차적 의존성을 학습하지 못함을 보여줌. 이는 LLM이 시계열 문제에 적합하지 않다는 통찰을 제공하며, 대신 패치와 어텐션 기반의 간단한 인코더가 유사한 성능을 내는 점에서 문제의 본질이 LLM이 아닌 모델 구조에 있다는 점을 시사함.

기술적 접근법

**대상 모델**: 세 가지 최근 LLM 기반 시계열 예측 모델 (명시되지 않음).
**대체 모듈**: LLM 대신 기본 어텐션 레이어, 기본 트랜스포머 블록, 랜덤 초기화 LLM, LLM 제거.
**데이터셋**: 8개 표준 벤치마크 데이터셋 + 5개 MONASH 데이터셋.
**평가 지표**: 예측 성능, 학습/추론 속도, few-shot 학습 효과.
**실험 방법**: 입력 시계열 섞기, LLM 가중치 재초기화, 패치+어텐션 인코더 사용.

주요 결과

**성능**: LLM 제거 또는 대체 모듈 사용 시, 13개 데이터셋에서 성능 유지 또는 향상됨.
**속도**: 단순한 대체 모델은 학습 및 추론 시간을 3자리 수준으로 감소.
**사전 학습 효과**: LLM 가중치 재초기화 시 성능 변화 없음.
**few-shot 학습**: 10% 학습 데이터에서 LLM 기반 모델은 도움 없음.
**순차적 의존성**: 입력 시계열 섞어도 성능 저하 없음 → LLM이 순차적 의존성 학습 실패.

의의 및 한계

이 연구는 LLM 기반 시계열 예측이 과도한 계산 비용 대비 실질적 이점을 제공하지 않는다는 점을 명확히 밝힘. 패치+어텐션 인코더가 LLM과 유사한 성능을 내는 점에서, 시계열 문제는 LLM의 고유 능력보다는 구조적 요소에 더 의존함을 시사함. 그러나 LLM이 시계열과 언어의 결합 분야(예: 시계열 추론, 사회적 이해)에서 활용될 가능성은 남아 있음. 한계로는 실험 대상 모델 명시 누락, 특정 데이터셋에 국한된 결과 등이 있음.

실용적 활용

이 연구는 시계열 분석 연구자들에게 LLM 대신 계산 효율적인 대체 모델을 고려할 필요성을 제시함. 특히, 실시간 예측이 필요한 산업 (예: 금융, 제조, 의료)에서 단순한 어텐션 기반 모델이 유리할 수 있음. 또한, LLM은 텍스트-시계열 다중 모달 분석과 같은 새로운 분야에서 활용 가능성이 남아 있음.