GDPevo: Evaluating Agent Self-Evolution on Real Business Tasks

Agent self-evolution updates an agent's persistent state from prior experience and reuses it to solve related tasks more effectively. Evaluating self-evolution is difficult: existing benchmarks provide limited coverage of economically valuable task domains, do not always design training and test tasks such that test-time gains can be attributed to training experience, and remain vulnerable to data contamination. We present GDPevo, an evolution-native benchmark grounded in GDP-related enterprise workflows, together with the fully automated data pipeline that generates it. Its core mechanism, rule hybridization, decomposes each enterprise workflow into atomic business rules, distributes subsets of these rules across training tasks, and recombines them in held-out test tasks so that test-time gains are attributable. GDPevo spans CRM, ERP, finance, healthcare, legal, and data-centric workflows. Its V1 release contains 120 tasks in 12 groups, with five training and five held-out test tasks per group. Full automation enables the pipeline to expand the suite to 240 tasks in 24 groups (V2) within two days, providing a practical response to contamination. Using GDPevo, we evaluate four agents, each comprising a harness and a model, under four supervision types. Self-evolution consistently improves held-out accuracy by up to 16.44 percentage points. But the best evolved agents remain far below the fully informed oracle ceiling of 91.6%, indicating that the self-evolution ability of current agents remains far from fully realized. We publicly release the pipeline, benchmark, and full evaluation results at https://github.com/Prism-Shadow/GDPevo.

한 줄 요약

GDPevo는 기업 업무 흐름 기반의 자동화된 에이전트 자기 진화 평가 벤치마크로, 훈련 경험을 기반으로 테스트 성능 향상을 정량적으로 측정한다.

핵심 기여도

**GDP 관련 업무 흐름 기반의 evolution-native 벤치마크** GDPevo를 제시.
**rule hybridization**이라는 핵심 메커니즘을 도입하여 훈련과 테스트 간 인과성을 명확히 설정.
**자동 생성 파이프라인**을 통해 2일 내 240개의 태스크로 확장 가능, 데이터 오염 문제 해결.
**최대 16.44%의 훈련-테스트 간 정확도 향상**을 기록, 그러나 최고 성능은 91.6%에 미달.

핵심 아이디어

기존 에이전트 자기 진화 평가 방식은 훈련-테스트 간 인과성을 명확히 하지 못하며, 데이터 오염에 취약하다. GDPevo는 기업 업무 흐름을 **rule hybridization**이라는 메커니즘을 통해 분해하고, 훈련 태스크에 일부 규칙을 배치한 후, 테스트 태스크에서 이 규칙들을 재조합하여 테스트 성능 향상이 훈련 경험에 기인함을 보장한다. 이는 기존 벤치마크에서 흔히 발생하는 **인과 관계 불확실성** 문제를 해결한다. 또한, **자동 생성 파이프라인**을 통해 새로운 태스크를 빠르게 생성함으로써 데이터 오염을 방지한다.

기술적 접근법

**rule hybridization**: 각 업무 흐름을 원자적 규칙으로 분해 → 훈련 태스크에 일부 배치 → 테스트 태스크에서 재조합.
**자동 생성 파이프라인**: V1(120개 태스크, 12 그룹) → V2(240개 태스크, 24 그룹)로 2일 내 확장.
**평가 지표**: 정확도 외에도 토큰 수, 에이전트 턴 수, 비용을 포함한 다중 지표.
**4가지 감독 유형**: base, fewshot, reflect, self.
**LLM 대신 결정론적 규칙 기반 점수기** 사용 → 재현성과 실패 원인 추적 가능.

주요 결과

**held-out 정확도 향상**: 최대 16.44% 포인트.
**CRM, ERP, 법적 업무 등 6개 도메인**에서 평가.
**최고 성능**: 91.6%에 미달 → 현재 에이전트의 자기 진화 능력은 완전히 실현되지 않음.
**V1: 120개 태스크, V2: 240개 태스크**로 확장 가능.

의의 및 한계

GDPevo는 기존 벤치마크가 갖는 **인과 관계 불확실성**, **데이터 오염**, **경제적 가치 도메인 커버리지 부족** 문제를 해결하며, **자기 진화 평가의 신뢰성과 재현성**을 높인다. 특히, **rule hybridization**은 훈련-테스트 간 인과성을 명확히 하여 연구자들이 진화 메커니즘의 효과를 정량적으로 분석할 수 있도록 한다. 그러나, **현재 에이전트는 91.6%에 미치지 못**하며, 자기 진화 알고리즘의 한계가 드러난다. 또한, **복잡한 규칙 기반 업무에만 적용**되므로, 추상적 추론이나 창의적 업무는 평가하지 못하는 한계가 있다.

실용적 활용

GDPevo는 **CRM, ERP, 금융, 의료, 법적 업무 등 기업의 핵심 업무 프로세스**에서 에이전트의 자기 진화 능력을 평가하는 데 활용 가능하다. 특히, **규칙 기반 업무 자동화 시스템**의 개선과 **자연어 처리 모델의 지속 학습 능력** 평가에 적합하다. 연구자와 엔지니어는 이 벤치마크를 통해 **자기 진화 알고리즘의 효과성을 정량적으로 검증**하고, **실무적 성능과 자원 효율성을 동시에 개선**할 수 있다.