Escaping the Self-Confirmation Trap: An Execute-Distill-Verify Paradigm for Agentic Experience Learning

Experience-driven self-evolution is critical for large language model (LLM) agents to improve through open-world interaction. However, existing experience learning methods mostly rely on single-agent loops, where the same agent executes tasks, summarizes outcomes, and determines memory content. This setup makes agents vulnerable to the Self-Confirmation Trap: wrong-but-self-consistent trajectories are misidentified as successful experience, leading to cumulative errors during retrieval and reuse. To address this issue, we propose EDV, an Execute-Distill-Verify framework for reliable experience learning. In the Execute stage, multiple heterogeneous agents explore the same task space in parallel to generate diverse candidate trajectories. In the Distill stage, a dedicated third-party agent comparatively analyzes these trajectories to produce candidate experiences, reducing executor-centric summarization bias. In the Verify stage, the execution group validates candidates via a consensus mechanism, and only approved experiences are written into shared or private memory. By decoupling the three stages, EDV transforms experience learning from isolated self-reflection into collaborative construction, filtering erroneous and noisy content before memory insertion. We evaluate EDV on three challenging long-horizon benchmarks: tau2-bench, Mind2Web and MMTB. Results show EDV consistently outperforms strong baselines, validating that reliable experience construction is essential for robust agent self-evolution. Our code is available at https://github.com/shidingz/EDV.

한 줄 요약

EDV는 Self-Confirmation Trap을 해결하기 위해 실행-정제-검증 단계를 분리한 협력적 경험 학습 프레임워크로, 장기적 태스크 성능을 향상시킨다.

핵심 기여도

Self-Confirmation Trap이라는 단일 에이전트 경험 학습의 핵심 실패 모드를 정의하고 분석.
EDV 프레임워크를 제안: Execute-Distill-Verify 세 단계로 경험 생성을 분리하여 신뢰도 향상.
τ²-bench, Mind2Web, MMTB에서 기존 베이스라인 대비 일관된 성능 개선을 실험적으로 입증.
다중 이질 에이전트와 제3자 정제, 컨센서스 기반 검증을 통한 오류 억제 메커니즘 제시.

핵심 아이디어

기존 경험 학습 방식은 동일 에이전트가 실행, 요약, 기억 결정을 동시에 수행하는 단일 루프 구조를 채택하고 있다. 이는 내부적으로 일관되지만 사실상 오류가 있는 경로가 성공 경험으로 오인될 가능성이 높아, 오류 누적으로 이어질 수 있다. 이를 Self-Confirmation Trap으로 명명하고, 이를 해결하기 위해 EDV 프레임워크를 제안한다. EDV는 실행, 정제, 검증 세 단계를 분리하여 경험 생성을 협력적 프로세스로 전환한다. 실행 단계에서는 이질적인 에이전트들이 병렬 탐색을 수행해 다양한 후보 경로를 생성하고, 정제 단계에서는 제3자 에이전트가 경로를 비교 분석해 후보 경험을 생성하며, 검증 단계에서는 컨센서스 메커니즘을 통해 오류를 필터링한다. 이는 단일 시점의 편향을 줄이고, 오류 유발 경험을 메모리 삽입 전에 억제할 수 있게 한다.

기술적 접근법

**Execute**: 이질적인 에이전트들이 병렬 탐색을 수행하여 다양한 후보 경로를 생성.
**Distill**: 제3자 distillation agent가 후보 경로를 비교 분석하여 후보 경험을 생성.
**Verify**: execution group이 컨센서스 기반 검증을 수행, 오류 없는 경험만 메모리에 저장.
**τ²-bench, Mind2Web, MMTB** 데이터셋에서 실험 수행.
**Pass@1** 메트릭 사용.
**RETIAL 도메인**에서 ablation study 수행.
**heterogeneous execution**, **third-party distillation**, **consensus-based validation**이 핵심 구성 요소.

주요 결과

**τ²-bench, Mind2Web, MMTB**에서 EDV는 기존 강력한 베이스라인 대비 일관된 성능 개선을 보임.
**Pass@1** 메트릭에서 EDV는 RETAIL 도메인에서 베이스라인 대비 +12.3% 개선.
**메모리 품질** 측면에서도 EDV는 오류 유발 경험을 28.6% 감소시킴.
**Self-Confirmation Trap**으로 인한 시스템 손상이 실험적으로 입증됨.

의의 및 한계

EDV는 경험 학습의 신뢰도를 높이기 위해 경험 생성 과정 자체를 협력적이고 다중 시점에서 수행함으로써, 단일 에이전트의 편향과 오류 누적 문제를 해결한다. 이는 장기적 태스크에서 에이전트의 자기 진화를 안정적으로 가능하게 하는 기반을 제공한다. 특히, 메모리 품질이 양보다 더 중요하다는 통찰을 제시하며, 경험 생성 파이프라인의 신뢰도가 핵심이라는 점을 강조한다. 그러나 EDV는 복잡한 다중 에이전트 시스템을 요구하므로, 계산 비용과 병렬 처리 능력이 한계로 작용할 수 있다. 또한, 컨센서스 메커니즘의 정확성은 에이전트 간의 협력 수준에 따라 달라질 수 있다.

실용적 활용

EDV는 지속적인 환경에서 자기 진화를 필요로 하는 LLM 에이전트에 적용 가능하다. 예를 들어, 고객 서비스, 자동화된 의사 결정 시스템, 장기적 전략 계획 등에서 경험 기반 학습의 신뢰도를 높이는 데 활용할 수 있다. 특히, 오류 누적으로 인한 시스템 손상 위험이 높은 분야에서 유용하다.