The Mirage of Optimizing Training Policies: Monotonic Inference Policies as the Real Objective for LLM Reinforcement Learning
Jing Liang, Hongyao Tang, Yi Ma, Yancheng He, Weixun Wang, Xiaoyang Li, Ju Huang, Wenbo Su, Jinyi Liu, Yan Zheng, Jianye Hao, Bo Zheng
arXiv:2606.29526 · 2026-07-06 공개 · arXiv · PDF
policy-optimization stability reasoning-performance off-policy llm-reinforcement-learning training-inference-mismatch mipi mipu
Abstract
Reinforcement learning (RL) has gained growing attention in large language model (LLM) post-training, yet RL training remains fragile and can suffer from instability or collapse. One vital cause is training-inference mismatch: LLM adopts separate inference and training engines for generation efficiency and training precision, which in practice exhibits inconsistent probabilities for the same trajectories on training and inference sides, even with synchronized model parameters. This naturally induces a special type of off-policyness ever existing and poisoning the training. Prior works have made various efforts in addressing the off-policyness to stabilize the training policies under the mismatch. In this paper, we point out the objective misalignment neglected by existing works that an effective update to the policy in the training engine not necessarily ensures the improvement of the inference policy, i.e., the one used in deployment. To this end, we propose a new policy optimization objective for LLM RL, named Monotonic Inference Policy Improvement (MIPI). Following this principle, we introduce Monotonic Inference Policy Update (MIPU), a two-step LLM RL framework that constructs sampler-referenced candidate updates and selectively accepts synchronized candidates using an inference-side gap proxy. Experiments conducted on two model scales under high mismatch show that MIPU improves average reasoning performance and training stability.
한국어 요약
한 줄 요약
LLM 강화학습에서 훈련-추론 불일치를 해결하기 위해 MIPI 목표와 MIPU 프레임워크를 제안하여 추론 정책의 단조적 개선을 달성한다.
핵심 기여도
- MIPI(Monotonic Inference Policy Improvement)라는 새로운 정책 최적화 목표를 제안하여 훈련 정책 개선이 추론 정책 개선을 보장하지 않는 문제를 해결.
- MIPU(Monotonic Inference Policy Update)라는 두 단계 강화학습 프레임워크를 제안: 샘플러-참조 정책 업데이트(Step 1)와 추론 갭 기반 수용(Step 2)을 결합.
- FP8-quantized rollout 환경에서 Qwen3-4B와 Qwen3-1.7B 모델에서 평균 추론 성능과 훈련 안정성이 향상됨.
핵심 아이디어
기존 LLM 강화학습은 훈련 정책(π)을 개선하는 것을 목표로 하지만, 실제 배포 시 사용되는 추론 정책(μ)과는 다른 확률 분포를 가지는 문제가 있다. 이는 훈련-추론 불일치(off-policyness)로 인해 발생하며, 훈련 정책 개선이 추론 정책 개선으로 이어지지 않을 수 있다. 이를 해결하기 위해, 본 연구는 추론 정책의 단조적 개선을 목표로 하는 MIPI를 제안한다. MIPI는 정책 최적화 목표를 훈련 정책이 아닌 추론 정책의 성능 향상으로 재정의한다. 이를 실현하기 위해 MIPU 프레임워크를 제안하며, 이는 샘플러-참조 정책 업데이트(Step 1)와 추론 갭 기반 수용(Step 2)의 두 단계로 구성된다. Step 1은 훈련 엔진에서 샘플러 기반의 후보 업데이트를 생성하여 J(π<sub>k+1</sub>) - J(μ<sub>k</sub>) ≥ 0을 보장하고, Step 2는 J(μ<sub>k+1</sub>) - J(π<sub>k+1</sub>) ≥ 0을 보장하는 수용 기준을 통해 불확실한 후보를 필터링한다.
기술적 접근법
- **MIPI**: 추론 정책의 단조적 개선을 목표로 정책 최적화를 재정의.
- **MIPU**: 두 단계로 구성된 LLM RL 프레임워크.
- **Step 1**: 샘플러-참조 정책 업데이트. 훈련 엔진에서 후보 정책 생성.
- **Step 2**: 추론 갭 기반 수용. 후보 정책이 실제 추론 정책 개선을 보장하는지 평가.
- **FP8-quantized rollout**: 고불일치 환경에서 실험.
- **Qwen3-4B, Qwen3-1.7B**: 실험 대상 모델.
- **T̂<sub>post</sub>**: 추론 갭 기반 수용 기준.
주요 결과
- FP8-quantized rollout 환경에서 MIPU는 Qwen3-4B와 Qwen3-1.7B 모델에서 평균 추론 성능과 훈련 안정성이 향상됨.
- Step 1은 후보 업데이트의 품질을 개선, Step 2는 불확실한 후보를 필터링하여 훈련 안정성을 높임.
- 기존 GRPO 업데이트 대비 MIPU는 더 높은 성능과 안정성을 보임 (구체적인 수치는 명시되지 않음).
의의 및 한계
- **의의**: 훈련-추론 불일치를 단순히 시스템 차이로 보는 것이 아닌, 정책 개선 목표 자체의 변화로 인식함으로써, 추론 정책의 단조적 개선을 목표로 하는 새로운 접근법을 제시.
- **한계**: 실험은 FP8-quantized rollout 환경에만 제한됨. 다른 불일치 환경에서의 일반화 가능성은 추가 연구 필요. 또한, MIPI의 이론적 보장성에 대한 수학적 증명은 명시되지 않음.
실용적 활용
MIPU는 LLM 강화학습에서 추론 정책의 안정적 개선이 필요한 상황, 예를 들어 대규모 모델의 배포 환경에서 유용하게 활용될 수 있다. 특히, 훈련과 추론 엔진 간의 불일치가 큰 경우, MIPU는 훈련-추론 갭을 줄이고 안정적인 정책 업데이트를 보장함으로써 모델의 실용적 성능을 향상시킬 수 있다.