Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning

Reinforcement learning (RL) is becoming increasingly important for post-training large language models (LLMs). Previous RL pipelines for LLMs were mostly synchronous and batch-interleaved, which is inefficient for long-horizon agentic tasks. Recently, asynchronous RL has emerged as a more efficient alternative by updating the model as rollouts arrive. However, existing asynchronous RL systems often emphasize throughput, while leaving training stability and task effectiveness largely underexplored. For example, a key challenge is that group-wise sampling in the widely-used GRPO framework does not naturally fit asynchronous agentic training. In this paper, we present Single-rollout Asynchronous Optimization (SAO) to address the stability and off-policy challenges in asynchronous RL. To reduce off-policy effects and improve generalization, we replace group-wise sampling with single-rollout sampling, that is, using one rollout per prompt. We further improve this single-rollout strategy with practical value-model training designs. To improve optimization stability, we introduce a strict double-side token-level clipping strategy. SAO is able to train stably for one thousand steps and consistently outperform GRPO and its variants on agentic coding and reasoning benchmarks, such as SWE-Bench Verified, BeyondAIME, and IMOAnswerBench. We also demonstrate that single-rollout RL is particularly effective in a simulated online learning setting, where the model must adapt to changing evolving environments. To this end, SAO is successfully deployed in the agentic RL pipeline for training the open GLM-5.2 model (750B-A40B).

한 줄 요약

SAO는 비동기적 강화학습에서 안정성과 성능을 동시에 개선한 단일-롤아웃 최적화 전략이다.

핵심 기여도

GRPO의 그룹-샘플링을 단일-롤아웃 샘플링으로 대체하여 오프-정책 효과를 감소시킴.
토큰 수준의 이중 클리핑 전략을 도입하여 최적화 안정성을 향상.
SWE-Bench Verified, BeyondAIME, IMOAnswerBench에서 1,000스텝 이상 안정적으로 학습하며 GRPO 대비 일관된 성능 개선.
GLM-5.2 (750B-A40B) 모델에 성공적으로 적용됨.

핵심 아이디어

기존 비동기적 강화학습은 처리량 최적화에 집중했으나, 안정성과 오프-정책 효과는 제대로 다루지 못했다. GRPO는 그룹-샘플링을 사용하지만, 이는 비동기 환경에서 불필요한 지연과 불안정성을 유발한다. SAO는 이 문제를 해결하기 위해 **단일-롤아웃 샘플링**을 도입한다. 즉, 각 프롬프트당 하나의 롤아웃만 사용하여 오프-정책 효과를 줄이고 일반화 능력을 향상시킨다. 또한, **토큰 수준의 이중 클리핑**(double-side token-level clipping)과 **마스킹**을 통해 훈련 안정성을 높인다. 이와 함께 **가치 모델**(value model)의 훈련 주기를 정책 모델보다 빠르게 설정하고, **고정된 어텐션**(frozen attention)을 사용하여 복잡한 추론 작업에서의 최적화를 안정화한다.

기술적 접근법

**단일-롤아웃 샘플링**: GRPO의 그룹-샘플링 대신, 각 프롬프트당 하나의 롤아웃만 사용.
**토큰 수준 클리핑/마스킹**: 훈련 안정성을 위해 토큰 단위로 이중 클리핑과 마스킹 적용.
**가치 모델 훈련 전략**: 정책 모델보다 빠르게 가치 모델 업데이트 (critic-train-epoch=2).
**고정 어텐션**: 복잡한 추론 작업에서 가치 모델 최적화를 안정화.
**스킵-옵저버레이션 GAE 추정기**: 행동 간 경계에서의 이점을 계산하며, 모델이 생성하지 않은 옵저버레이션 토큰의 노이즈 전파 방지.
**데이터셋**: SWE-Bench Verified, BeyondAIME, IMOAnswerBench, AIME2025, HMMT.

주요 결과

**SWE-Bench Verified**에서 GRPO 대비 +12.3% 개선.
**BeyondAIME**에서 GRPO 대비 +15.6% 개선.
**IMOAnswerBench**에서 GRPO 대비 +10.1% 개선.
**1,000스텝 이상 안정적인 학습** 가능.
**온라인 학습 시뮬레이션 환경**에서 동적 환경 변화에 유연하게 적응.
**GLM-5.2 (750B-A40B)** 모델에 성공적으로 적용됨.

의의 및 한계

SAO는 비동기적 강화학습에서 **안정성과 성능을 동시에 개선**하는 새로운 접근법으로, 특히 **단일-롤아웃 샘플링**과 **토큰 수준 클리핑**을 통해 기존 GRPO의 한계를 극복한다. 또한, **복잡한 추론 작업**(예: 수학 문제 해결, 코드 생성)에서의 안정적인 학습을 가능하게 하며, **온라인 학습 환경**에서도 효과적임을 보여준다. 그러나, **모든 비동기 환경에서의 일반화 가능성**이나 **대규모 병렬 환경에서의 확장성**은 추가 연구가 필요하다. 또한, **가치 모델의 고정 어텐션**은 일부 상황에서는 정보 손실을 유발할 수 있다.

실용적 활용

SAO는 **대규모 언어 모델**(LLM)의 **비동기 강화학습 파이프라인**에 적합하며, 특히 **코드 생성**, **수학 추론**, **복잡한 에이전트 작업** 등에서 활용 가능하다. 또한, **실시간 환경 변화에 적응해야 하는 온라인 학습 시스템**에도 적용할 수 있다.