EvolveTrade: Experience-Driven Policy Refinement for Self-Evolving LLM Trading Agents

Large language model (LLM) trading agents can combine market data, news, and executable analysis, but their behavior is often controlled by static hand-written tool-use policies that are fixed before deployment. This limits their ability to adapt how they gather evidence, invoke tools, verify signals, and manage risk under changing market regimes. We introduce EvolveTrade, a self-evolving framework that treats the system prompt of a tool-using trading agent as a text-parameterized policy. After each update interval, a Policy Agent revises this policy using accumulated decision traces and realized portfolio feedback, while keeping the backbone LLM fixed. The updated policy is then used for the next batch of trading decisions, enabling the agent to refine its information-acquisition and portfolio-construction procedure over time. Experiments across multiple market regimes and two LLM backbones show that EvolveTrade often improves Sharpe Ratio and Cumulative Return over fixed-policy LLM baselines, achieving the improved SR and CR in most evaluated settings. Behavioral analyses further show that self-evolved policies increase code-mediated analysis and activate regime-relevant computations; case-level policy-to-return attributions trace how policy-induced allocation changes contribute to realized return differences. These results suggest that adapting the reusable procedure governing tool use is a key direction for building more robust LLM trading agents.

한 줄 요약

EvolveTrade는 LLM 거래 에이전트의 정책을 거래 경험에 따라 스스로 개선하는 자가 진화 프레임워크이다.

핵심 기여도

Policy Agent라는 별도 모듈을 도입하여, LLM 에이전트의 시스템 프롬프트를 텍스트 기반 정책으로 간주하고 주기적으로 업데이트함.
두 개의 LLM 백본에서 6개의 시장 환경에서 평가했으며, 대부분의 설정에서 셔프 비율(SR)과 누적 수익률(CR)을 향상시킴.
정책 개선이 코드 매개 분석 증가와 시장 상황에 맞는 계산 활성화로 이어짐. 예: 2025년 1월 NVDA 하락에서 +1.33%포인트의 일일 수익 차이 발생.
기존 정책이 고정된 에이전트 대비, LLM 파라미터나 도구 인터페이스를 수정하지 않고도 정책 텍스트만 학습함.

핵심 아이디어

기존 LLM 거래 에이전트는 정적인 프롬프트나 워크플로우에 의존하여 시장 변화에 적응하지 못한다. EvolveTrade는 이 문제를 해결하기 위해, 에이전트의 시스템 프롬프트를 "텍스트 매개 정책(text-parameterized policy)"으로 간주하고, 주기적으로 Policy Agent가 거래 결과와 결정 추적(decision traces)을 기반으로 정책을 업데이트한다. 이는 LLM의 파라미터나 도구 인터페이스를 변경하지 않으면서도, 정보 수집, 도구 사용, 위험 관리, 포트폴리오 구성 과정을 시간에 따라 개선할 수 있게 한다. 핵심 통찰은, 개별 거래 결정보다는 정보를 수집하고 행동하는 절차를 경험에 따라 조정하는 것이 중요하다는 점이다.

기술적 접근법

**Policy Agent**: 주기적으로 실행되어, 에이전트의 거래 결과와 결정 추적(예: 자산별 추론)을 기반으로 정책 텍스트(πₜ → πₜ₊₁)를 업데이트.
**정책 업데이트**: 도구 사용 우선순위, 신호 교차 검증, 특정 시장 조건에 따른 노출 조정 등을 변경할 수 있음.
**LLM 백본**: 두 개의 고정된 LLM 사용 (명시되지 않음), 도구 인터페이스는 변경되지 않음.
**업데이트 주기**: 거래 간격(trading interval)마다 정책을 업데이트하며, 이는 다음 배치의 거래 결정에 반영됨.
**정책 학습 대상**: LLM 파라미터나 도구는 학습하지 않고, 정책 텍스트만 학습함.

주요 결과

**시장 환경**: 6개의 post-cutoff 시장 환경에서 평가.
**성능 개선**: 3개의 모델-시장 쌍에서 셔프 비율(SR)과 누적 수익률(CR)이 기존 고정 정책 기반 LLM 에이전트 대비 향상됨.
**정책 영향**: 2025년 1월 NVDA 하락 사례에서 정책 개선이 +1.33%포인트의 일일 수익 차이를 유발.
**도구 사용 변화**: VaR, 신호 정규화, EMA, RSI, SMA 등 시장 상황에 맞는 계산 활성화 증가.

의의 및 한계

EvolveTrade는 LLM 거래 에이전트의 정책을 경험에 기반하여 스스로 개선함으로써, 시장 변화에 보다 유연하게 대응할 수 있는 방향을 제시한다. 특히, 정책 텍스트만 학습하고 LLM 파라미터나 도구를 수정하지 않는 점에서 실용적 적용성이 높다. 그러나 모든 시장 환경에서 성능 향상을 보장하지는 않으며, 일부 설정에서는 고정 정책 에이전트가 여전히 우수한 성능을 보였다. 또한, Policy Agent의 정책 수정 과정이 투명하고 해석 가능한 방식으로 이루어지는지에 대한 구체적인 설명은 명시되지 않았다.

실용적 활용

EvolveTrade는 금융 시장에서 실시간으로 변화하는 조건에 따라 거래 전략을 스스로 조정해야 하는 LLM 기반 거래 시스템에 적용 가능하다. 특히, 도구 사용 절차를 정책 텍스트로 정의하고 이를 경험에 따라 업데이트하는 방식은, 높은 유연성과 해석 가능성(예: 정책-수익 속성 분석)을 요구하는 금융 분석, 자동 투자 플랫폼 등에 유용하게 활용될 수 있다.