Beyond Policy Rollouts: Embedding-Space Directional Exploration with Anchored Noise for LLM RLVR

Reinforcement learning with verifiable rewards (RLVR) typically uses small rollout groups per prompt, where repeated sampling from the same policy can yield highly similar trajectories, reducing within-group reward variation and weakening group-relative advantage signals. Existing remedies such as higher sampling temperature, entropy bonuses, asymmetric clipping, and larger rollout budgets broaden sampling or modify policy updates but leave rollout conditioning unchanged. In this paper, we propose EDEN (Embedding-space Directional Exploration via anchored Noise), which intervenes at the rollout source through anchored input perturbations. EDEN explores beyond the policy's own rollouts. Within the same rollout budget, it replaces a small fraction of standard rollouts in each group with rollouts that the same policy generates from the prompt plus a single appended, perturbed embedding position, rather than from the prompt alone. Gaussian noise drives variation, while a shared anchor provides a common conditioning direction within each prompt group. Selected perturbed rollouts contribute to GRPO updates with downweighted advantages, and the model architecture, discrete decoding, and test-time inference remain unchanged. Across model scales and mathematical reasoning benchmarks, EDEN outperforms GRPO and the exploration controls evaluated in the same pipeline, with the largest gains in sampled solution coverage. Analyses show that more prompt groups provide non-zero group-relative learning signals and that noise and anchoring play complementary roles. Intervening at the rollout source is thus an effective lever for exploration in RLVR.

한 줄 요약

EDEN은 RLVR에서 정책 자체의 롤아웃을 벗어난 탐색을 가능하게 하며, 수학적 추론 벤치마크에서 GRPO 대비 더 높은 Pass@1 및 Pass@8 성능을 보인다.

핵심 기여도

EDEN은 **anchored noise**를 통해 롤아웃 소스에서 입력 임베딩을 조건화하여 새로운 탐색 방식을 제안한다.
**Gaussian noise**와 **shared anchor**를 결합해 방향성을 유지하면서도 다양성을 확보한다.
**GRPO**와 동일한 모델 아키텍처, 디코딩 방식, 추론 경로를 유지하면서도 **Pass@1, Pass@8, Pass@256**에서 성능 향상.
**Qwen2.5-0.5B, Qwen2.5-Math-1.5B, Qwen2.5-Math-7B** 모델에서 평가, **GSM8K, MATH, AIME 2024/2025** 등 8개 벤치마크에서 평가.

핵심 아이디어

기존 RLVR 알고리즘은 동일한 정책으로 반복된 롤아웃을 생성하여 **within-group reward variation**이 낮아지고, **group-relative advantage signal**이 약화되는 문제가 있었다. EDEN은 이 문제를 **rollout source**에서 해결한다. 구체적으로, **prompt 다음 단일 임베딩 위치에 Gaussian noise와 shared anchor를 결합한 perturbation**을 추가함으로써, 동일한 정책이 다른 조건에서 롤아웃을 생성하도록 유도한다. 이 방식은 **discrete decoding**과 **test-time inference**를 변경하지 않으면서도, **policy의 rollout pool에 새로운 다양성**을 도입한다.

**Noise**는 롤아웃의 다양성을 증가시키고, **anchor**는 그 다양성이 특정 방향으로 집중되도록 한다. 이 두 요소는 **complementary roles**를 수행하며, **advantage-gated filter**와 **noise-aware advantage reweighting**을 통해 유의미한 정보만 학습에 반영된다.

기술적 접근법

**EDEN**은 **anchored noise**를 통해 **rollout source**에 입력 임베딩을 조건화한다.
**Gaussian noise**는 **variation**을, **shared anchor embedding**은 **directionality**를 제공.
**12개 standard rollout + 4개 noise-perturbed rollout**을 포함하는 **16개 rollout group** 사용.
**ρ = 0.12 (Qwen2.5-0.5B), 0.18 (나머지 모델)**로 noise scale 조정.
**GRPO**와 동일한 **batch size = 128, learning rate = 1×10⁻⁶** 사용.
**advantage-gated filter**와 **downweighted advantages**를 통해 유의미한 perturbed rollout만 학습에 포함.

주요 결과

**Qwen2.5-0.5B**에서 **GSM8K, MATH**에서 **Pass@1 +1.2%, Pass@8 +2.5%** 개선.
**Qwen2.5-Math-7B**에서 **AIME 2024 Pass@256 +3.1%** 개선.
**GRPO 대비 Pass@1, Pass@8, Pass@256**에서 **모든 모델 규모에서 성능 우수**.
**8개 수학적 추론 벤치마크**에서 평균적으로 **Pass@1 +1.5%, Pass@8 +3.0%** 개선.
**rollout group 수 증가** 시 **non-zero group-relative learning signal** 증가.

의의 및 한계

EDEN은 **rollout source**에서 탐색을 개선함으로써, **기존 RLVR 알고리즘의 탐색 한계**를 극복한다. 기존 방법들이 **output-side sampling**이나 **policy update**를 조정하는 반면, EDEN은 **input-side perturbation**을 통해 **rollout generation 자체의 다양성**을 증가시킨다. 이는 **GRPO와 동일한 아키텍처와 추론 경로**를 유지하면서도, **더 넓은 solution coverage**를 달성할 수 있다는 점에서 학술적·실용적 의의가 있다.

하지만, **noise bank size = 8**과 **ρ 값**은 모델 규모에 따라 조정되어야 하며, **over-perturbation**이 오히려 성능 저하를 유발할 수 있다. 또한, **test-time inference**는 변경되지 않지만, **training-time rollout generation**에만 적용되므로, **실시간 추론 환경에서의 활용 가능성**은 추가 연구가 필요하다.

실용적 활용

EDEN은 **수학적 추론, 자동 검증 가능한 문제 해결** 등 **RLVR 기반의 post-training**에 적용 가능하다. 특히, **작은 rollout budget**에서도 **성능 향상**을 기대할 수 있어, **자원 제한이 있는 학습 환경**에서 유용하다. 또한, **모델 아키텍처 변경 없이 적용 가능**하므로, **기존 RLVR 파이프라인에 쉽게 통합**할 수 있다.