LiveMACE: Process-Aware Evaluation of LLM Agent Capabilities in Evolving Markets

Evaluating agents by outcomes alone can obscure the capabilities that produce them. This problem is especially pronounced in evolving environments, where outcomes reflect a closed-loop interaction between agent behavior and changing external conditions. We introduce LiveMACEBench, a process-aware benchmark that uses live financial markets as a naturally evolving testbed for persistent LLM agents. Five frontier LLMs operate along continuous trajectories under matched Tool Use, Persistent Memory, Rule Following, and Multi-Agent Collaboration configurations. We evaluate them through both realized outcomes and mechanism-specific diagnostics derived from complete decision traces. Across 30 days of live evaluation, we find a pronounced outcome-capability gap: realized returns often diverge from capability-specific measurements, and similar outcomes can arise from markedly different patterns of mechanism use. Trace-level diagnostics further expose distinct bottlenecks across capabilities, demonstrating that mechanism access, effective mechanism use, and downstream performance are not interchangeable measures of agent capability. LiveMACEBench makes this distinction measurable, turning live markets from a performance leaderboard into a diagnostic environment for agent capability

한 줄 요약

LiveMACEBench는 진화하는 금융 시장에서 LLM 에이전트의 능력을 과정 중심으로 평가하는 벤치마크이다.

핵심 기여도

**과정 중심 평가 프레임워크**: LiveMACEBench는 결과 중심 평가가 가려내지 못하는 에이전트의 능력을 분리 평가한다.
**5개 LLMs 비교**: GPT-5.4, DeepSeek-V3.2, Gemini-3.1-Pro, Grok-4.20, Qwen3-Max를 30일간 실시간 거래 환경에서 평가.
**4가지 메커니즘 평가**: Tool Use, Persistent Memory, Rule Following, Multi-Agent Collaboration의 효과를 분리 평가.
**결과-능력 격차 발견**: 실현된 수익과 능력 측정 간의 괴리가 명확히 드러남.

핵심 아이디어

기존 에이전트 평가는 결과 중심적이며, 이는 능력의 진정한 평가를 어렵게 만든다. LiveMACEBench는 **결과**(task outcomes), **제어된 메커니즘 효과**(controlled mechanism effects), **과정 진단**(process diagnostics)을 병합한 3중 평가 프레임워크를 제안한다. 이는 단순히 어떤 결과를 달성했는지가 아니라, 어떤 메커니즘을 사용했는지, 그리고 그 사용이 효과적이었는지를 구분하는 데 초점을 맞춘다.

예를 들어, **Persistent Memory**가 제공되더라도, 에이전트가 과거 정보를 효과적으로 재사용하지 못하면 이는 메커니즘 접근과 활용 사이의 격차로 드러난다. **Multi-Agent Collaboration** 환경에서도, 협력 없이도 유사한 수익을 낼 수 있다는 점에서, 협력 메커니즘의 효과는 결과 중심 평가에서 감지되지 않는다는 문제가 드러난다.

기술적 접근법

**LLM 모델**: GPT-5.4, DeepSeek-V3.2, Gemini-3.1-Pro, Grok-4.20, Qwen3-Max
**테스트 환경**: 실시간 거래 시뮬레이션(4월 13일 ~ 5월 13일, 약 30일)
**시장 데이터**: 미국 주식(Alpaca SIP), 암호화폐(Hyperliquid)
**평가 메커니즘**:
**Tool Use**: 외부 도구 활용
**Persistent Memory**: 과거 정보 저장 및 재사용
**Rule Following**: 명시된 규칙 준수
**Multi-Agent Collaboration**: 다중 에이전트 간 협력
**평가 방식**: ReAct 프레임워크 기반, 완전한 결정 추적(decision trace)을 기록하여 메커니즘 사용 여부와 효과를 분석

주요 결과

**결과-능력 격차**: 30일 평가 기간 동안, 유사한 수익을 내는 에이전트가 서로 다른 메커니즘 사용 패턴을 보임.
**Memory 재사용 실패**: Persistent Memory가 제공된 에이전트가 과거 정보를 효과적으로 재사용하지 못함.
**Rule Following의 한계**: 규칙 준수는 감사 가능성(auditability)과 분리되어 나타남.
**Multi-Agent 협력 부족**: 협력 없이도 수익을 낼 수 있어, 협력 메커니즘의 효과가 결과 중심 평가에서 감지되지 않음.
**GPT-5.4**: 가장 높은 수익을 기록했으나, 이는 특정 메커니즘의 효과가 아닌 전체적 성능의 결과임.

의의 및 한계

LiveMACEBench는 **진화하는 환경에서 에이전트의 능력을 과정 중심으로 평가**할 수 있는 첫 번째 시도로, 기존 결과 중심 평가의 한계를 극복한다. 특히, **메커니즘 접근, 활용, 성과 간의 구분**을 가능하게 하며, 이는 에이전트 설계와 개선에 중요한 통찰을 제공한다.

하지만, **평가 기간이 30일에 불과**하며, **시장 조건의 변동성**이 평가 결과에 영향을 줄 수 있다는 한계가 있다. 또한, **암호화폐와 주식 시장에만 적용**되어 다른 환경으로의 확장 가능성은 명시되지 않았다.

실용적 활용

LiveMACEBench는 금융 분야에서 지속적인 에이전트 운영을 고려한 **자동 거래 시스템의 설계 및 평가**에 활용될 수 있다. 또한, **다중 에이전트 협력 시스템**이나 **규칙 기반 시스템**의 개선에도 적용 가능하며, **LLM 기반 에이전트의 메커니즘 활용 능력**을 정량적으로 평가하는 데 유용하다.