From News to Forecast: Integrating Event Analysis in LLM-Based Time Series Forecasting with Reflection

This paper introduces a novel approach that leverages Large Language Models (LLMs) and Generative Agents to enhance time series forecasting by reasoning across both text and time series data. With language as a medium, our method adaptively integrates social events into forecasting models, aligning news content with time series fluctuations to provide richer insights. Specifically, we utilize LLM-based agents to iteratively filter out irrelevant news and employ human-like reasoning to evaluate predictions. This enables the model to analyze complex events, such as unexpected incidents and shifts in social behavior, and continuously refine the selection logic of news and the robustness of the agent's output. By integrating selected news events with time series data, we fine-tune a pre-trained LLM to predict sequences of digits in time series. The results demonstrate significant improvements in forecasting accuracy, suggesting a potential paradigm shift in time series forecasting through the effective utilization of unstructured news data.

한 줄 요약

LLM 기반 에이전트를 활용한 이벤트 분석을 통한 시계열 예측 정확도 향상.

핵심 기여도

LLM 기반 에이전트를 사용하여 뉴스 필터링 및 예측 평가를 반복적으로 수행함으로써 예측 정확도 향상.
뉴스와 시계열 데이터를 통합한 컨텍스트 인식 데이터셋 구축.
다양한 도메인(에너지, 금융, 교통, 비트코인)에서 뉴스 통합이 예측 성능에 긍정적 영향을 미침.
LLM 기반 예측 모듈과 평가 에이전트를 결합한 3단계 시스템 구조 제안.

핵심 아이디어

기존 시계열 예측 모델은 수치 데이터만을 기반으로 하여 외부 이벤트나 사회적 변화를 반영하지 못하는 한계가 있었다. 본 연구는 언어 모델이 텍스트와 시계열 데이터를 동시에 추론할 수 있도록 설계된 새로운 프레임워크를 제안한다. 핵심 아이디어는 LLM 기반 에이전트를 통해 뉴스를 필터링하고, 예측 결과를 기반으로 반복적으로 선택 로직을 개선하는 방식이다. 이는 인간의 사고 과정을 모방한 few-shot 학습을 통해 이루어지며, 뉴스와 시계열 간의 복잡한 상호작용을 이해하는 데 기여한다. 특히, 평가 에이전트는 예측 오류와 관련 이벤트를 비교하며 뉴스 선택을 반복적으로 개선하는 반사적 학습 메커니즘을 도입하여, 모델의 신뢰도를 높인다.

기술적 접근법

**LLM 기반 예측 모듈**: 사전 학습된 LLM을 미세 조정하여, 시계열 데이터를 텍스트 토큰으로 변환하고, 다음 토큰을 예측하는 방식으로 시계열 예측 수행.
**이성적 에이전트 (Reasoning Agent)**: few-shot 학습을 통해 뉴스 필터링 및 예측 평가 수행.
**평가 에이전트 (Evaluation Agent)**: 예측 오류를 분석하고, 뉴스 선택 로직을 반복적으로 개선.
**데이터셋 구성**: 시계열 데이터와 검증된 공개 뉴스를 통합한 다중 도메인 데이터셋 사용.
**하이퍼파라미터**: 토큰 수, 반복 횟수, LLM 미세 조정 파라미터 등은 실험별로 조정됨.

주요 결과

**에너지 도메인**: 뉴스 통합 시 예측 정확도가 크게 향상됨.
**교통 도메인**: 뉴스 통합 효과는 제한적이었으며, 지역별 세부 정보 부족으로 인해 MSE가 높음.
**비트코인 및 금융 도메인**: 뉴스 통합이 예측 성능에 긍정적 영향을 미침.
**반복 필터링 효과**: 평가 에이전트를 사용한 2회 반복 필터링 시 예측 정확도가 1회 대비 향상됨.
**MAE 기준**: 교통 예측에서 평균 절대 오차(MAE)는 신뢰할 수 있는 수준 유지.

의의 및 한계

본 연구는 언어 모델이 비구조화된 뉴스 데이터를 효과적으로 활용하여 시계열 예측 정확도를 향상시킬 수 있음을 입증하였다. 특히, LLM 기반 에이전트를 통해 뉴스 선택과 예측 평가를 반복적으로 수행하는 반사적 학습 메커니즘은 기존 시계열 모델에서 볼 수 없었던 새로운 접근법이다. 그러나, 뉴스 통합 효과는 인간 활동이 큰 영향을 미치는 도메인에서만 두드러지며, 기상 데이터와 같은 물리적 현상에서는 효과가 제한된다. 또한, 사전 학습된 LLM의 최대 토큰 길이 제약으로 대량의 시계열 및 뉴스 데이터를 동시에 처리하는 데 어려움이 있다.

실용적 활용

본 연구는 금융, 에너지, 경제 지표 등 인간 활동이 예측에 큰 영향을 미치는 분야에서 실용적 활용이 가능하다. 특히, 실시간 뉴스를 반영한 시계열 예측 시스템은 정책 변화, 사회적 이슈, 기술 발전 등을 고려한 더 정확한 의사결정을 지원할 수 있다. 교통 분야에서는 지역별 뉴스 데이터 품질 향상이 필요하며, 이에 따라 예측 정확도를 개선할 수 있다.