reinforcement-learning llm-training policy-optimization tool-use agent-benchmarks long-horizon-reasoning noise-robustness environment-scaling
Abstract
Large language models have evolved from single-turn chatbots into interactive agents capable of long-horizon reasoning. In real deployments, MCP tool services can return noisy feedback and users may intervene to correct the agent, but existing methods provide limited supervision for reflection learning and failure recovery. To bridge this gap, we propose Agent-Reflex, a general training framework for incentivizing proactive reflection in agents. Specifically, Agent-Reflex comprises three stages. First, Environment Reflection Skill Discovery (RSD) injects grounded tool-feedback perturbations into environment scaling, samples a capability-diverse LLM pool, mines matched success-failure pairs, and summarizes reusable reflection meta-skills. Building on this skill library, we then apply Reflective Supervised Fine-Tuning (ReSFT) that converts each skill into supervision for self-reflection, skill recovery, and user-centric correction, strengthening complementary reflective behaviors. Finally, we propose On-Policy Reflective Policy Optimization (ORPO) to combine agentic reinforcement learning under noisy interactions with reflection-guided on-policy distillation to further elicit proactive reflection. Built on Qwen3-8B, Agent-Reflex reaches 58.6 overall on five long-horizon tool-use benchmarks and 29.1 on AgentNoiseBench, surpassing strong environment-scaling and reflection baselines. Experiments on six challenging agent benchmark suites demonstrate the effectiveness of Agent-Reflex. Further analyses show that Agent-Reflex improves agents' robustness to noise while maintaining stable training dynamics, supporting scalable agent training. Our code is available at https://github.com/RUC-NLPIR/Agent-Reflex.
한국어 요약
한 줄 요약
Agent-Reflex는 노이즈 환경에서 적극적인 자기 반성 능력을 훈련시키는 대규모 언어 모델 에이전트 훈련 프레임워크이다.
핵심 기여도
- RSD(Reflection Skill Discovery)를 통해 557개 환경에서 1,170개의 반성 메타스킬을 추출.
- ReSFT(Self-Reflection, Skill Recovery, User-Centric Reflection)를 통해 반성 정보를 정책에 내재화.
- ORPO(On-Policy Reflective Policy Optimization)를 통해 노이즈 상호작용과 반성 기반 정책 증류를 결합.
- Qwen3-8B 기반으로 5개 장기적 도구 사용 벤치에서 58.6점, AgentNoiseBench에서 29.1점 달성.
핵심 아이디어
기존 에이전트 훈련은 안정적인 환경과 제한된 사용자 개입을 가정하지만, 실제 도구 서비스는 노이즈가 많고 사용자가 자주 개입한다. Agent-Reflex는 반성을 학습 가능한 메타스킬로 모델링하여, 실패 시점에서 적극적으로 행동을 수정하도록 유도한다. RSD 단계에서는 실제 도구 피드백 노이즈를 주입하고, 성공-실패 트래젝토리 쌍을 비교해 반성 메타스킬을 추출한다. ReSFT는 이 메타스킬을 Self-Reflection, Skill Recovery, User-Centric Reflection 세 가지 수준의 지도 데이터로 변환한다. 마지막 단계인 ORPO는 노이즈 상호작용 환경에서 강화 학습과 반성 기반 정책 증류를 결합하여 토큰 수준의 반성 결정을 학습한다.
기술적 접근법
- **RSD**: 557개의 실제 환경 테마를 기반으로 실행 가능한 도구와 데이터베이스를 생성하고, 다양한 LLM 에이전트 풀에서 성공/실패 트래젝토리 쌍을 샘플링하여 1,170개의 반성 메타스킬을 추출.
- **ReSFT**: Self-Reflection (SR), Skill Recovery (KR), User-Centric Reflection (UR) 세 가지 샘플링 전략을 통해 반성 데이터를 생성하고, 정책에 내재화.
- **ORPO**: 노이즈 환경에서 강화 학습과 반성 기반 정책 증류를 결합. 토큰 수준의 반성 결정을 위한 OPD(On-Policy Distillation) 목표를 사용.
- **모델 기반**: Qwen3-8B를 기반으로 훈련.
주요 결과
- **VitaBench**: Agent-Reflex는 17.5% (Reflexion-8B 대비 +10.7%)
- **ACEBench**: 78.0% (NoisyAgent-8B 대비 +26.0%)
- **τ²-Bench**: 62.1% (EnvScaler-8B 대비 +7.5%)
- **AgentNoiseBench**: 29.1점 달성.
- **복합 실험**: 5개 장기적 도구 사용 벤치에서 58.6점 (기존 강력한 기반 모델 대비 개선).
의의 및 한계
Agent-Reflex는 노이즈 환경과 사용자 개입을 반영한 실제적인 에이전트 훈련을 가능하게 하며, 반성 메타스킬을 기반으로 반복적 실패에서 학습하는 새로운 패러다임을 제시한다. 특히, ReSFT와 ORPO의 결합은 정책 내 반성 능력을 향상시키는 데 기여한다. 그러나 RSD 단계에서 사용된 557개 환경은 여전히 제한적이며, 더 다양한 도구와 상황에 대한 확장이 필요하다. 또한, SR, KR, UR의 상호작용 효과는 Ablation Study에서 확인되었으나, 각 전략의 독립적 기여도는 명확히 규명되지 않았다.
실용적 활용
Agent-Reflex는 실제 서비스 환경에서 도구 서비스가 불안정하거나 사용자 개입이 필요한 경우, 예를 들어 고객 지원 챗봇, 자동화된 IT 운영 시스템, 복잡한 워크플로우 자동화 등에서 활용 가능하다. 특히 장기적 계획과 반복적 실패 복구가 필요한 시스템에 적합하다.