Learning to Reason under Off-Policy Guidance

Recent advances in large reasoning models (LRMs) demonstrate that sophisticated behaviors such as multi-step reasoning and self-reflection can emerge via reinforcement learning with verifiable rewards~(\textit{RLVR}). However, existing \textit{RLVR} approaches are inherently ``on-policy'', limiting learning to a model's own outputs and failing to acquire reasoning abilities beyond its initial capabilities. To address this issue, we introduce \textbf{LUFFY} (\textbf{L}earning to reason \textbf{U}nder o\textbf{FF}-polic\textbf{Y} guidance), a framework that augments \textit{RLVR} with off-policy reasoning traces. LUFFY dynamically balances imitation and exploration by combining off-policy demonstrations with on-policy rollouts during training. Specifically, LUFFY combines the Mixed-Policy GRPO framework, which has a theoretically guaranteed convergence rate, alongside policy shaping via regularized importance sampling to avoid superficial and rigid imitation during mixed-policy training. Compared with previous RLVR methods, LUFFY achieves an over \textbf{+6.4} average gain across six math benchmarks and an advantage of over \textbf{+6.2} points in out-of-distribution tasks. Most significantly, we show that LUFFY successfully trains weak models in scenarios where on-policy RLVR completely fails. These results provide compelling evidence that LUFFY transcends the fundamental limitations of on-policy RLVR and demonstrates the great potential of utilizing off-policy guidance in RLVR.

한 줄 요약

LUFFY는 off-policy 학습을 결합한 RLVR 프레임워크로, 기존 on-policy 제약을 극복하고 수학 벤치마크에서 평균 +6.4 개선을 달성한다.

핵심 기여도

LUFFY는 Mixed-Policy GRPO와 regularized importance sampling 기법을 결합하여 on-policy RLVR의 한계를 극복.
기존 RLVR 대비 6개 수학 벤치마크에서 평균 +6.4 점, out-of-distribution task에서 +6.2 점 개선.
Llama3.1-8B와 같은 약한 모델에서도 on-policy RL이 실패하는 상황에서 성공적으로 학습 가능.
off-policy 학습을 통해 모델이 고질적인 추론 트레이스를 선택적으로 모방하면서도 탐색을 유지.

핵심 아이디어

기존 RLVR은 on-policy 학습으로 인해 모델이 스스로 생성한 데이터만 학습하게 되어, 초기 능력 이상의 추론 능력을 얻는 데 한계가 있었다. LUFFY는 이 문제를 해결하기 위해 off-policy 학습을 도입하여, 더 강력한 정책(예: DeepSeek-R1)으로부터의 추론 트레이스를 학습에 활용한다. 이는 모델이 스스로의 제한을 넘어서는 추론 패턴을 학습할 수 있도록 하는 '인지적 뼈대'를 제공한다. 핵심 아이디어는 Mixed-Policy GRPO와 regularized importance sampling을 결합하여, off-policy 데이터와 on-policy rollout을 동적으로 조합함으로써, 모방과 탐색 간 균형을 유지하는 것이다. 특히, off-policy 학습은 모델이 고질적인 추론 트레이스를 선택적으로 모방하면서도, 성공적인 자체 추론 시에는 탐색을 유지하게 하여, 단순한 패턴 학습이 아닌 진정한 추론 능력을 키우는 데 기여한다.

기술적 접근법

**Mixed-Policy GRPO**: 기존 GRPO에 off-policy 학습을 결합한 프레임워크. 이론적으로 수렴률이 보장됨.
**Regularized Importance Sampling**: off-policy 데이터를 활용하면서도 entropy collapse를 방지하기 위해 정책 형성(policy shaping)에 사용.
**Advantage Computation**: off-policy 추론 트레이스와 on-policy rollout을 결합하여 advantage를 계산.
**Off-policy Guidance**: DeepSeek-R1과 같은 강력한 정책으로부터 추론 패턴을 학습.
**Hyperparameters**: 명시되지 않음.

주요 결과

**AIME24/25, AMC, OlympiadBench, Minerva, MATH-500** 등 6개 수학 벤치마크에서 기존 RLVR 대비 평균 **+6.4 점** 개선.
**Out-of-distribution task**에서 기존 off-policy 방법 대비 평균 **+6.2 점** 우수.
**LLaMA3.1-8B**와 같은 약한 모델에서도 on-policy RL이 실패하는 상황에서 LUFFY는 성공적으로 학습.

의의 및 한계

LUFFY는 on-policy RLVR의 핵심 한계, 즉 모델이 스스로 생성한 데이터만 학습하여 초기 능력 이상의 추론을 배우기 어려운 문제를 해결한다. off-policy 학습을 통해 더 강력한 정책으로부터 추론 패턴을 학습함으로써, 모델이 스스로의 제약을 넘어서는 추론 능력을 얻는 데 성공했다는 점에서 학술적 의의가 크다. 특히 약한 기반 모델에서도 성공적으로 학습 가능하다는 점은, 모델의 용량 제약을 극복하는 데 기여한다. 그러나 off-policy 데이터의 질과 정책의 강도가 결과에 큰 영향을 미칠 수 있으며, 이에 대한 정량적 분석은 추가 연구가 필요하다.

실용적 활용

LUFFY는 수학 문제 해결, 복잡한 추론, 자가 반성(self-reflection)이 필요한 AI 시스템 개발에 적용 가능하다. 특히, 기존 모델이 학습에 한계를 겪는 상황에서 off-policy 학습을 통해 성능을 향상시키는 데 유용하며, 다양한 도메인에서 추론 능력을 확장하는 데 활용할 수 있다.