Neglected Free Lunch from Post-training: Progress Advantage for LLM Agents

Process reward models enable fine-grained, step-level evaluation of LLMs, yet building them for agentic settings remains prohibitively difficult: long-horizon interactions, irreversible actions, and stochastic environment feedback make both human annotation and Monte Carlo estimation infeasible at scale. In this work, we show that reinforcement learning (RL) post-training already provides the ingredients for effective step-level scoring, eliminating the need for dedicated reward model training altogether. Concretely, we derive an implicit advantage under a general stochastic Markov decision process, which we term progress advantage -- log-probability ratio between the RL-trained policy and its reference policy exactly recovers the optimal advantage function. This formulation makes the resulting signal annotation-free, domain-agnostic, and available as a byproduct of the standard RL post-training pipeline. We validate the effectiveness of the progress advantage across three different applications: test-time scaling, uncertainty quantification, and failure attribution on five benchmarks and four model families. Across all settings, it consistently outperforms confidence-based baselines and, despite requiring no task-specific training, surpasses dedicated trained reward models. We complement these results with deeper analyses on characteristics of progress advantage, offering practical guidance for adoption in real-world agentic systems.

한 줄 요약

RL post-training을 활용해 step-level 평가를 위한 reward model을 별도로 학습할 필요를 제거한다.

핵심 기여도

RL post-training에서 도출된 progress advantage를 제안, 이는 정확한 advantage function을 복구한다.
기존 reward model 없이도 task-specific 학습 없이도 성능 개선을 보인다.
5개 벤치마크와 4개 모델 가족에서 실험적으로 검증됨.
기존 confidence-based baseline 대비 일관된 성능 상승.

핵심 아이디어

기존 연구는 agentic 환경에서 step-level 평가를 위해 reward model을 별도로 학습해야 했으나, 이는 인간 라벨링이나 Monte Carlo 추정이 어렵고 비효율적이다. 본 연구는 RL post-training 과정에서 이미 존재하는 정책 정보를 활용해 reward model을 대체할 수 있음을 보인다. 핵심 통찰은 RL 정책과 reference 정책 간의 로그 확률 비율이 optimal advantage function을 정확히 복구한다는 점이다. 이를 progress advantage라 명명하고, 이는 annotation-free이며 도메인에 무관하다는 장점을 가진다.

기술적 접근법

RL post-training을 통해 학습된 정책과 reference 정책 간의 log-probability ratio를 계산.
이는 일반적인 stochastic Markov decision process에서 유도됨.
추정 과정에서 추가적인 reward model 학습 없이도 advantage signal 생성.
실험은 5개 벤치마크와 4개 모델 가족에서 진행됨.

주요 결과

5개 벤치마크에서 confidence-based baseline 대비 일관된 성능 개선.
task-specific reward model 없이도 기존 학습된 reward model을 초과하는 성능.
test-time scaling, uncertainty quantification, failure attribution 등 3가지 응용에서 모두 유의미한 결과.

의의 및 한계

progress advantage는 기존 reward model 학습의 복잡성과 비용을 줄이며, agentic 시스템에서 실용적으로 사용 가능한 신호를 제공한다. 또한, annotation-free라는 점에서 확장성과 일반화 능력이 뛰어나다. 그러나 이 접근법은 RL post-training이 이미 수행된 경우에만 적용 가능하며, RL 학습 자체의 질에 의존한다는 한계가 있다. 또한, 특정 도메인에서의 최적화가 필요한 경우 여전히 task-specific reward model이 유리할 수 있다.

실용적 활용

LLM 기반 에이전트가 필요한 자율 시스템, 예측 불확실성 관리, 시스템 실패 원인 분석 등 다양한 실무 상황에서 적용 가능하다. 특히, 라벨링 비용이 높은 환경이나 대규모 시스템에서 유용하게 사용될 수 있다.