Rethinking Critic Learning in PPO: Understanding and Mitigating Value Flattening

In reinforcement learning for large language models, Proximal Policy Optimization (PPO) commonly uses a critic to estimate state values and reduce the variance of policy updates. However, we uncover a systematic failure mode in PPO critics, which we call Value Flattening: state values, estimated from multiple Monte Carlo continuations, change sharply across intermediate states while critic predictions remain comparatively flat. We further observe this phenomenon in a controlled FrozenLake environment and find that it becomes more pronounced as the state space grows. Our theoretical and empirical analyses relate Value Flattening to an implicit variance penalty in the critic loss and redundant updates from temporally correlated states with similar gradients. Motivated by these findings, we introduce SParse Proximal Policy Optimization (SP^3O), which applies the value loss to only a few well-separated states in each response to mitigate both effects. Experiments on Qwen3-Base show that SP^3O with only three states supervised per response can mitigate Value Flattening and consistently improve the learned policy across model sizes and evaluation suites. Together, our results identify Value Flattening as an important yet overlooked failure mode of critic learning in standard PPO and show that a simple sparse supervision strategy can mitigate it.

한 줄 요약

PPO의 크리틱 학습에서 발생하는 Value Flattening 문제를 분석하고, SP^3O를 제안하여 이를 완화시킨다.

핵심 기여도

Value Flattening: PPO 크리틱이 MC 추정치에 비해 상태 가치 변화를 부정확하게 예측하는 현상을 정의.
Value Flattening 원인: (1) MSE 손실 내 암묵적 분산 페널티, (2) 시간적으로 상관된 상태의 중복 업데이트.
SP^3O: 각 응답에서 3개의 잘 분리된 상태만 감독하여 Value Flattening을 완화.
Qwen3-4B-Base와 Qwen3-8B-Base에서 수학 및 OOD 추론 벤치마크에서 정책 성능 향상.

핵심 아이디어

PPO는 크리틱을 사용해 상태 가치를 추정하고 정책 업데이트의 분산을 줄이지만, 본 연구는 이 크리틱이 실제 상태 가치 변화를 부정확하게 반영하는 Value Flattening이라는 문제를 발견했다. 이는 Monte Carlo 추정치가 급격히 변하는 반면, 크리틱 예측이 비교적 평탄하게 유지되는 현상이다. 이 현상은 FrozenLake 환경에서도 재현되며, 상태 공간이 커질수록 더 두드러진다. 이는 크리틱 손실 함수 내 암묵적 분산 페널티와 시간적으로 상관된 상태의 유사한 그래디언트로 인한 중복 업데이트 때문인 것으로 분석된다. 이를 해결하기 위해 SP^3O를 제안하여, 각 응답에서 3개의 잘 분리된 상태만 감독함으로써 Value Flattening을 완화하고 정책 성능을 개선한다.

기술적 접근법

**Value Flattening**: Monte Carlo 추정치와 크리틱 예측 간 불일치를 분석.
**암묵적 분산 페널티**: 크리틱의 MSE 손실이 모든 토큰 위치에서 적용되며, 이는 가치 변화를 페널티로 간주함.
**중복 업데이트**: 인접 상태는 유사한 그래디언트를 가지며, 이는 예측 값의 유사성을 유도.
**SP^3O**: 각 응답에서 3개의 잘 분리된 상태만 감독하여 암묵적 페널티와 중복 업데이트를 줄임.
**실험 환경**: Qwen3-4B-Base, Qwen3-8B-Base, 수학 및 OOD 추론 벤치마크.

주요 결과

Qwen3-4B-Base와 Qwen3-8B-Base에서 SP^3O는 각 응답에서 3개의 상태만 감독함으로써 Value Flattening을 완화.
수학 및 out-of-distribution (OOD) 추론 벤치마크에서 정책 성능이 일관되게 향상됨.
FrozenLake 환경에서 크리틱 예측이 상태 공간이 커질수록 점점 더 부정확해짐.

의의 및 한계

**의의**: Value Flattening은 PPO 크리틱 학습에서 중요한 문제이며, 기존 연구에서 간과된 실패 모드임을 밝힘. SP^3O는 간단한 희소 감독 전략으로 이 문제를 효과적으로 완화.
**한계**: 실험은 Qwen3 모델에만 제한되며, 다른 PPO 구현이나 모델 아키텍처에서의 일반화 가능성은 추가 연구 필요. 또한, 감독 상태 수를 3개로 제한한 이유와 최적 수치에 대한 분석은 명시되지 않음.

실용적 활용

SP^3O는 대규모 언어 모델의 추론 과정에서 PPO 기반 강화 학습을 적용하는 연구 및 산업 현장에서 활용 가능하다. 특히, 장기적 추론 과제에서 정책의 정확도와 안정성을 향상시키는 데 유용할 것으로 기대된다.