What Outcome RL Buys: Finishing, Reliability, Rarely Reach

Outcome RL raises pass@1 but not pass@k at large k (Yue et al., 2025). But every pass@1 is scored under a token budget. Every recipe also trains under one. On physics and math problems at fixed token budgets, we compare the pass@1 of 20 released RL models (1.5B to 32B) with that of the thinking models they started from. We ask whether each pass@1 gain is changed behaviour or new knowledge. We divide each change in pass@1 into three parts. Finishing measures answering before the budget runs out. Reliability measures being right once finished. Reach measures problems RL solves that its base answered wrongly in all eight tries, minus problems the base solves that RL answered wrongly in all eight. We find four things. (1) Where the base often hits the token budget before answering, most of the change, gain or loss, is finishing (82% at 4k and 8k). Given more tokens, the base closes most of the finishing gap itself. (2) Where the base has enough tokens, the gain is reliability: the RL model is graded right more often, even on problems both finish. (3) By our definition, RL rarely solves what its base cannot. Reach adds at most 2.1 percentage points on any of our four physics and math sets. We checked 144 physics problems that only the RL model solved. Of these, 3.5% hold up when resampled or read. In a random sample, nine of ten new RL steps a human confirmed also appear in the base's samples. (4) In a small-scale RL run on an 8B model, the gain on new problems is finishing, with reliability flat. Supplying each problem's physical setup was not shown to improve on plain RL.

한 줄 요약

Outcome RL은 pass@1 성능을 높이지만, 대부분은 토큰 예산 내 완료율 개선이며, 새로운 지식은 거의 생성되지 않는다.

핵심 기여도

20개의 RL 모델(1.5B~32B)을 기반 모델과 비교하여, pass@1 개선이 'Finishing', 'Reliability', 'Reach'로 분해됨을 확인.
토큰 예산이 제한적일 때, 82%의 개선은 'Finishing'이며, 예산 증가 시 기반 모델이 이 격차를 대부분 메움.
'Reach'는 최대 2.1%포인트에 불과하며, 144개의 RL만이 풀 수 있는 문제 중 3.5%만이 재샘플링 시에도 유지됨.
8B 모델의 소규모 실험에서, 새로운 문제의 개선은 'Finishing'이며, 'Reliability'는 개선되지 않음.

핵심 아이디어

Outcome RL은 최종 정답만 보상하는 방식으로, pass@1 성능을 높인다. 그러나 이 성능 개선이 새로운 지식의 학습인지, 행동 변화인지 구분이 어려웠다. 본 연구는 pass@1의 변화를 세 가지 요인으로 분리했다: **Finishing**(예산 내 완료), **Reliability**(정확도), **Reach**(기반 모델이 틀린 문제를 RL이 맞춘 비율). 이 중, **Finishing**이 토큰 예산이 제한적일 때 대부분의 성능 차이를 차지하며, 예산이 충분하면 **Reliability**가 주요 요인이 된다. **Reach**는 매우 제한적이며, RL이 기반 모델이 풀지 못한 문제를 해결하는 경우는 드물다. 이는 Outcome RL이 새로운 지식을 학습하는 것이 아니라, 기존 지식을 더 효율적으로 활용하는 방식으로 성능을 개선한다는 통찰을 제공한다.

기술적 접근법

**Finishing**: 토큰 예산 내에 답변을 완료하는 비율.
**Reliability**: 완료된 답변 중 정확한 비율.
**Reach**: 기반 모델이 8번 모두 틀린 문제 중 RL이 맞춘 비율에서, RL이 틀린 문제 중 기반 모델이 맞춘 비율을 뺀 값.
20개의 RL 모델(1.5B~32B)과 기반 모델을 4k, 8k, 16k 토큰 예산에서 비교.
8B 모델을 사용한 소규모 실험에서, 토큰 예산을 늘리면 'Finishing'은 개선되지만 'Reliability'는 변화 없음.
토큰 예산이 충분할 때, 기반 모델이 RL의 성능 격차를 대부분 메움.

주요 결과

4k 및 8k 토큰 예산에서, 82%의 pass@1 개선은 'Finishing'에 기인.
144개의 RL만 풀 수 있는 물리 문제 중 3.5%만이 재샘플링 시에도 유지됨.
10개의 새로운 RL 단계 중 9개는 기반 모델 샘플에도 존재.
8B 모델 실험에서, 새로운 문제의 개선은 'Finishing'이며, 'Reliability'는 개선되지 않음.
QuestA는 16k 토큰 예산에서 기반 모델보다 0.07 낮은 성능을 보임.

의의 및 한계

Outcome RL의 성능 개선은 대부분 행동 변화(예산 내 완료율)이며, 새로운 지식 학습은 거의 없음.
토큰 예산이 충분하면 기반 모델이 RL의 성능 격차를 대부분 메움.
Reach는 매우 제한적이며, RL이 기반 모델이 풀지 못한 문제를 해결하는 경우는 드물다.
본 연구는 소규모 실험과 제한된 샘플링, 평가 기준으로 수행되었으며, 대규모 훈련이나 다른 도메인에서는 결과가 달라질 수 있음.
평가 시 기계 판독이 엄격하게 적용되었으며, 일부 정답은 평가 기준에 따라 달라질 수 있음.

실용적 활용

Outcome RL 모델을 평가할 때, pass@1과 함께 토큰 예산 내 완료율(finish@1)을 함께 보고해야 함.
모델 비교 시 훈련 예산과 평가 예산을 일치시켜야 공정한 비교가 가능함.
QuestA와 같은 모델은 훈련 예산 내에서만 성능이 개선되며, 예산을 초과하면 기반 모델보다 낮은 성능을 보임.