SLPO: Scaling Latent Reasoning via a Surrogate Policy

Reinforcement learning with verifiable rewards has become the predominant recipe for eliciting test-time scaling in explicit Chain-of-Thought reasoners. Yet this scaling path remains computationally costly, since every intermediate step must be decoded as a language token. Latent reasoning instead carries intermediate computation as continuous vectors and already matches or surpasses explicit CoT at far shorter horizons. Despite this promise, latent reasoners remain largely imitation-bound, while explicit CoT has already moved past imitation via outcome-reward RL. Latent trajectories lack a tractable per-step likelihood and an adaptive stopping interface under fixed thinking budgets, so outcome rewards cannot elicit latent test-time scaling. We introduce Surrogate Latent Policy Optimization (SLPO) to bring outcome-reward RL to autoregressive latent reasoners: an empirical surrogate policy density over latent transitions for trajectory-level credit assignment, and a correctness-supervised stopping head that outcome-reward optimization refines into a variable-horizon policy. Across continuous and soft thinking settings, SLPO improves Pass@$k$ under parallel sampling and allocates longer latent computation to harder instances with higher deterministic accuracy.

한 줄 요약

SLPO는 연속적인 잠재 추론을 강화 학습을 통해 향상시키는 새로운 정책 최적화 방법이다.

핵심 기여도

SLPO는 잠재 추론에서 정책 경사도 기반 학습을 가능하게 하는 **surrogate policy density**를 도입.
**정답 감독(stopping head)**을 통해 가변 길이 추론을 학습.
**Pass@k** 지표에서 병렬 샘플링 환경에서 개선 효과를 보임.
더 어려운 문제에 더 긴 잠재 추론을 할당하며 **결정론적 정확도** 향상.

핵심 아이디어

기존 Chain-of-Thought(CoT) 추론은 토큰 단위로 중간 단계를 생성하므로 계산 비용이 높다. 반면, 잠재 추론(latent reasoning)은 중간 계산을 연속 벡터로 처리하여 CoT보다 짧은 시간 내 동일하거나 더 높은 성능을 보인다. 그러나 잠재 추론은 정책 경사도 기반 강화 학습(RL)을 적용할 수 없었는데, 이는 **트래젝토리 단위의 크레딧 할당**과 **가변 길이 추론**이 어려웠기 때문이다. SLPO는 이 두 가지 문제를 해결한다.

SLPO는 **MC-dropout 기반의 잠재 전이(latent transition)**에 대해 **surrogate policy density**를 정의하여, 토큰 단위 확률 없이도 크레딧 할당이 가능하도록 한다. 또한, **정답 감독(stopping head)**을 초기화하여 추론 길이를 학습 가능하게 만든다. 이는 **RLOO** 또는 **GRPO**와 같은 표준 정책 최적화 알고리즘과 호환된다.

기술적 접근법

**Surrogate Policy Density**: MC-dropout을 사용한 잠재 전이에 대한 경험적 정책 밀도를 정의.
**Stopping Head**: 정답 정확도 기반의 정답 감독을 통해 초기 정지 정책을 학습.
**Policy Objective**: 정책 목적 함수에 정지 확률을 포함하여, 정책 경사도를 통해 잠재 추론과 계산 할당을 동시에 최적화.
**Inference Procedure**: 병렬 샘플링 환경에서 **Pass@k** 지표를 사용하여 성능 평가.

주요 결과

SLPO는 병렬 샘플링 환경에서 **Pass@k** 지표를 개선.
더 어려운 문제에 더 긴 잠재 추론을 할당하며, **결정론적 정확도**가 향상됨.
기존 잠재 추론 모델 대비 **더 짧은 추론 길이**로 동일 또는 더 높은 성능 달성.

의의 및 한계

SLPO는 잠재 추론 모델에 강화 학습을 적용할 수 있는 새로운 경로를 제시한다. 기존 잠재 추론은 정책 경사도 기반 학습이 불가능했으나, SLPO는 이 문제를 해결함으로써 **가변 길이 추론**과 **크레딧 할당**을 가능하게 했다. 이는 추론 효율성과 정확도를 동시에 향상시키는 데 기여한다.

그러나 SLPO는 아직 **더 큰 백본 모델**이나 **다중 모달성**을 다루는 데는 한계가 있다. 또한, **정답 감독 초기화**가 필요하므로, 정답이 없는 환경에서는 적용이 어려울 수 있다.

실용적 활용

SLPO는 병렬 추론이 필요한 대규모 언어 모델의 추론 효율성을 향상시키는 데 활용될 수 있다. 특히, **시간 제약이 있는 추론 작업**이나 **병렬 샘플링 기반의 추론 시스템**에서 유용할 것으로 기대된다. 또한, **정답이 명확한 문제 해결** 분야에서 성능을 극대화할 수 있다.