SERO: Learning from Executable Oracle Continuations for Long-Horizon Agentic Reinforcement Learning

Long-horizon agentic RL is constrained by the futures visited by the current policy. When rollouts fail to reach useful behaviors, improved credit assignment cannot provide supervision for states and actions that were never encountered. On-policy distillation (OPD) introduces teacher guidance on policy-induced states, and recent multi-turn variants improve how this guidance is scheduled, replayed, refined, or validated. However, they do not directly use the oracle-controlled future itself as the training trajectory. We introduce State-Rooted Executable Rollout Optimization (SERO), which augments on-policy agentic RL with executable oracle continuations. SERO restores a state actually reached by the current policy and lets a training-only oracle continue interacting with the real environment, making the downstream observations and oracle actions themselves available for learning. It then applies policy-reachability weighting, which weights each oracle step by the frozen behavior policy's compatibility with the preceding oracle actions. This allows deeper supervision to become effective as the policy becomes more compatible with the oracle branch. The oracle loss is optimized separately from the base RL estimator and no oracle is used at inference time. We evaluate SERO on two challenging interactive-agent benchmarks, ALFWorld and WebShop, using Qwen2.5-1.5B-Instruct and Qwen2.5-7B-Instruct. On ALFWorld, learning the full executable continuation is substantially more effective than supervising only the root oracle action, while policy-reachability weighting further improves out-of-distribution performance.

한 줄 요약

SERO는 실행 가능한 오라클 연속을 활용해 장기적 에이전트 강화 학습의 성능을 향상시키는 새로운 방법이다.

핵심 기여도

**SERO (State-Rooted Executable Rollout Optimization)**: 정책이 실제로 도달한 상태에서 오라클 연속을 실행하여 학습 데이터를 생성한다.
**Policy-Reachability Weighting**: 오라클 연속의 각 단계를 정책의 호환성에 따라 가중치를 적용해 더 깊은 지도를 가능하게 한다.
**Qwen2.5-1.5B-Instruct 및 Qwen2.5-7B-Instruct 모델 사용**: ALFWorld와 WebShop 벤치마크에서 성능 향상이 입증되었다.
**Full Executable Continuation vs. Root-Only Supervision**: 전체 오라클 연속 학습이 단일 오라클 행동 지도보다 ALFWorld 성능에서 10% 이상 개선.

핵심 아이디어

기존의 on-policy distillation(OPD)는 정책이 생성한 상태에서 오라클의 행동을 학습하지만, 오라클 연속 전체를 실행하지는 않는다. SERO는 정책이 도달한 상태에서 오라클을 실행해 실제 환경과 상호작용하게 하여, 그 결과로 생성된 오라클 행동과 관측을 학습 데이터로 활용한다. 이는 단순한 단일 행동 지도가 아닌, **전체 오라클 연속**(full oracle continuation)을 학습하게 되므로, 더 긴 시간 범위의 행동 패턴을 학습할 수 있다.

또한, **policy-reachability weighting**을 도입하여 오라클 연속의 각 단계에 대해 정책의 호환성을 기준으로 가중치를 적용한다. 이는 오라클 행동이 정책에 의해 얼마나 잘 수행될 수 있는지를 고려하여, 더 깊은 단계에서의 지도가 점차적으로 효과적으로 작동하도록 한다. 이는 기존의 단일 행동 기반 지도와 비교해, **장기적 행동 패턴의 학습 효과를 극대화**하는 핵심 아이디어이다.

기술적 접근법

**SERO 알고리즘**: 정책이 도달한 상태에서 환경을 복원하고, 오라클이 여러 단계에 걸쳐 환경과 상호작용하게 한다.
**Policy-Reachability Weighting**: 오라클 연속의 각 단계에 대해, 정책의 호환성에 따라 가중치를 계산한다.
**Oracle Loss**: 기존 RL 추정기와 별도로 최적화되며, 추론 시에는 오라클을 사용하지 않는다.
**Qwen2.5-1.5B-Instruct 및 Qwen2.5-7B-Instruct 모델**: ALFWorld와 WebShop에서 실험에 사용됨.
**Full-Flat vs. Full SERO**: Full-Flat은 모든 단계에 동일한 가중치를 적용하지만, Full SERO는 각 단계에 정책 호환성에 따른 가중치를 적용한다.

주요 결과

**ALFWorld**: Full SERO는 단일 오라클 행동 지도(root-only)보다 **성공률이 10% 이상 높음**.
**Policy-Reachability Weighting**: ALFWorld에서 **OOD(out-of-distribution) 성능을 추가적으로 개선**.
**WebShop**: SERO 적용 시 **GraphGPO와 HGPO 모두에서 엄격한 성공률이 향상됨**.
**Ablation Study**: Full Executable Continuation이 Root-Only Supervision보다 **성능 개선폭이 10% 이상**.

의의 및 한계

SERO는 기존의 단일 행동 기반 지도와 비교해, **전체 오라클 연속을 실행하고 학습**함으로써 장기적 행동 패턴을 효과적으로 학습할 수 있는 새로운 접근법을 제시한다. 특히, **policy-reachability weighting**을 통해 정책 호환성에 따라 지도의 효과를 조절함으로써, **더 깊은 단계에서의 학습이 가능**해진다. 이는 기존의 RL 기반 에이전트 학습에서 중요한 한계를 극복하는 학술적 기여로 평가된다.

그러나, SERO는 **오라클을 추론 시 사용하지 않으며**, 오라클이 제공하는 지도는 학습 단계에서만 활용된다. 또한, **오라클 연속의 실행은 실제 환경에서 이루어지므로**, 계산 비용이 증가할 수 있는 한계가 있다.

실용적 활용

SERO는 **대형 언어 모델 기반의 인터랙티브 에이전트**(예: 웹 탐색, 도구 사용, 소프트웨어 작업)에서 장기적 행동 패턴을 학습하는 데 유용하다. 특히, **복잡한 환경에서 성공적인 행동 시퀀스가 희소하거나 지연된 보상이 존재하는 경우**에 효과적이다. SERO는 기존 RL 알고리즘과 결합하여 **GraphGPO, HGPO 등 다양한 에이전트 학습 프레임워크에 적용 가능**하다.