When More Sampling Hurts: The Modal Ceiling and Correlation Ceiling of Test-Time Scaling

People overthink; language models over-sample, and the extra effort can talk both into a worse answer. Reasoning systems answer a hard question by sampling it many times (test-time scaling), and the more they draw, the more often a correct answer turns up somewhere, so coverage, the fraction of problems with at least one correct try, climbs and appears to be progress. But a deployed system must return one answer, and choosing it, not knowing which try is right, is selection; selection is capped, and past a point extra samples only make the model surer of a confident mistake, even as every draw adds cost. The gap between climbing coverage and stalled selection, the identifiability gap, is the answer a model can produce but not pick. So the real question is not whether to sample but how far, and the answer is: not far. For picking an answer, the vote has already settled within a few dozen draws, the modal ceiling; for scoring a benchmark, sooner still, the correlation ceiling. Beyond that, extra draws cost compute and add nothing, and can even make the answer worse. This paper turns the cutoff into a single number, the effective number of samples, that any sampling run already reveals. The bottleneck is recognizing a right answer, not generating one.

한 줄 요약

추가 샘플링이 성능 향상에 기여하지 못하는 두 가지 한계(모달 천장, 상관관계 천장)를 분석하고, 효과적인 샘플 수를 도출한다.

핵심 기여도

모달 천장(πmode)과 상관관계 천장(1/ρb)을 구분하여 샘플링의 한계를 정량화.
256개 샘플링 시 실제 효과는 약 13개 수준으로, 선택 정확도는 0.45에 머무름.
효과 샘플 수(effective number of samples)를 닫힌 형태로 도출하여, 샘플링 예산을 정량적으로 제시.
커버리지(0.88)와 선택 정확도(0.45) 간의 식별 가능성 간극(identifiability gap)을 측정.

핵심 아이디어

기존 연구는 샘플 수(n)가 증가할수록 정답을 포함할 확률(coverage)이 높아진다고 보았지만, 실제 시스템은 하나의 답만 반환해야 하므로 선택(selection)이 중요하다. 선택은 다수결 투표로 수렴되며, 이는 모델의 가장 흔한 답변에 수렴한다. 따라서 샘플 수가 늘어나도 틀린 답변이 더 확신 있게 선택될 수 있다. 이는 모달 천장(πmode)으로 설명되며, 샘플링이 더 이상 도움이 되지 않는 지점을 나타낸다.

또한, 샘플 간 상관관계(ρ)로 인해 샘플 수가 많아도 독립적인 정보는 제한된다. 이를 설계 효과(design effect)로 모델링하여, 실제 효과 샘플 수는 n / deff로 줄어든다. 이는 상관관계 천장(1/ρb)으로 정의되며, 벤치마크 평가 정확도를 제한한다.

기술적 접근법

샘플링을 클러스터 샘플링(cluster sampling)으로 모델링.
효과 샘플 수(effective number of samples)를 n / deff = n / [1 + (n-1)ρ]로 정의.
커버리지: 문제당 최소 한 번의 정답 샘플이 존재하는 비율.
선택: 다수결 투표로 가장 흔한 답변을 선택.
모달 천장(πmode): 가장 흔한 답변이 정답일 확률.
상관관계 천장(1/ρb): 문제 간 샘플 상관관계로 인한 평가 정확도 한계.
ρw ≈ 0.0007, ρb ≈ 0.4–0.6으로 측정.

주요 결과

256개 샘플링 시 커버리지는 0.88이지만, 선택 정확도는 0.45에 머무름.
효과 샘플 수는 약 13개 수준으로, 추가 샘플링은 정확도 향상에 기여하지 않음.
벤치마크 평가 정확도는 상관관계 천장(1/ρb)으로 제한됨.
샘플 간 상관관계(ρw ≈ 0.0007)는 낮지만 문제 간 상관관계(ρb ≈ 0.4–0.6)는 높음.

의의 및 한계

이 연구는 샘플 수 증가가 항상 유리하지 않다는 점을 정량적으로 밝혀내며, 샘플링 예산을 효율적으로 설정하는 데 기여한다. 기존 연구는 샘플 간 독립성을 가정했지만, 본 연구는 상관관계를 고려한 새로운 분석 프레임워크를 제시한다. 그러나 본 연구는 새로운 알고리즘이 아닌 분석 도구를 제공하며, 샘플링 전략을 직접 개선하지는 않는다. 또한, 모델 내부 메커니즘보다는 샘플링 결과에 초점을 맞춘 한계가 있다.

실용적 활용

추론 시 샘플링 예산을 효과적으로 설정하여 계산 비용을 절감할 수 있음.
벤치마크 평가 시 샘플 간 상관관계를 고려해 더 정확한 평가를 수행할 수 있음.
다수결 투표를 사용하는 추론 시스템에서 모달 천장을 고려해 선택 전략을 개선할 수 있음.