Claim-Level Reliability Assessment for Efficient Test-Time Reasoning

We propose claim-level falsification as a principle for test-time scaling and instantiate it through Claim-Level Reliability Assessment (CLR), a training-free framework that reallocates test-time compute from additional solution sampling to targeted verification. Since whole-trace evaluation often obscures decisive errors due to signal dilution from routine tokens, CLR condenses each reasoning trace into a compact set of decision-critical claims, thereby isolating its logical anchors. Furthermore, recognizing the inherent difficulty of generating entirely correct solutions under fixed model capabilities, CLR shifts the focus to semantic falsification. This approach exploits a fundamental asymmetry between solution construction and claim refutation. Constructing a valid solution requires a flawless reasoning path, whereas refuting an incorrect claim requires identifying only a single decisive flaw. This targeted search for negative evidence systematically compresses the survival space of high-confidence incorrect traces, effectively suppressing erroneous consensus via nonlinear reliability scoring. Across four LLMs and four reasoning benchmarks under matched budgets, CLR generally improves upon pass@1 and self-consistency. On GPT-OSS-20B/CMIMC25, for instance, CLR exceeds pass@1 by 27.15 percentage-points and raises self-consistency accuracy from 77.50\% to 82.19\% with 37.0\% fewer tokens.

한 줄 요약

CLR은 테스트 시 계산 자원을 효율적으로 재할당하여 추론 정확도를 향상시키는 훈련 없는 프레임워크이다.

핵심 기여도

CLR은 전체 추론 추적 대신 결정적 클레임에 집중하여 신뢰도 평가를 개선함.
GPT-OSS-20B/CMIMC25에서 pass@1 정확도를 27.15% 포인트 향상시키고, self-consistency 정확도를 77.50%에서 82.19%로 높임.
토큰 사용량을 37.0% 절감하면서도 정확도를 유지함.
훈련 없이 기존 추론 추적에서 클레임을 추출하고 검증하는 방식을 제안함.

핵심 아이디어

CLR은 테스트 시 추론 추적 내 결정적 오류를 효과적으로 포착하기 위해 클레임 수준의 반증을 도입한다. 기존 방법은 전체 추적 평가에서 루틴 토큰으로 인해 신호가 희석되어 핵심 오류를 감지하기 어려웠다. CLR은 추론 추적을 결정적 클레임 집합으로 압축하고, 이 클레임을 반증하는 과정을 통해 오류를 탐지한다. 이는 '클레임 반증'이라는 비대칭적 접근법을 활용한다: 올바른 해법 생성은 완전한 추론 경로가 필요하지만, 오류 클레임 반증은 단일 결정적 오류만 찾으면 된다. 이로 인해 고신뢰도 오류 추적의 생존 공간이 줄어들고, 비선형 신뢰도 점수를 통해 오류 합의를 억제할 수 있다.

기술적 접근법

CLR은 두 단계의 추론 파이프라인을 사용한다.

**Stage 1**: K개의 추론 추적을 샘플링하고, 각 추적에서 M개의 결정적 클레임을 추출한다.
**Stage 2**: 동일 모델을 사용해 각 클레임을 문제와 함께 반증한다.
**결과 집계**: 클레임 수준의 검증 결과를 추적 수준의 비선형 신뢰도 점수로 변환하고, 신뢰도 가중치를 기반으로 최종 예측을 집계한다.
**예시**: CLR@32는 GPT-OSS-20B/CMIMC25에서 37.0% 적은 토큰으로 self-consistency 정확도를 77.50%에서 82.19%로 향상시킴.

주요 결과

GPT-OSS-20B/CMIMC25에서 CLR@32는 pass@1 정확도를 27.15% 포인트 향상시키고, self-consistency 정확도를 77.50%에서 82.19%로 높임.
Gemma-4-12B-it/HMMT25에서 CLR@32는 Cons@64 대비 정확도를 76.67%에서 88.75%로 향상시킴.
모든 실험에서 토큰 사용량을 줄이면서 정확도를 유지하거나 향상시킴.

의의 및 한계

CLR은 테스트 시 추론 추적 내 결정적 오류를 효과적으로 포착할 수 있는 새로운 프레임워크를 제시한다. 기존 방법들이 신뢰도 신호를 추출하는 데 어려움을 겪는 문제를 해결하고, 토큰 효율성을 동시에 개선한다. 그러나 CLR은 기존 추론 추적에 의존하므로, 추적 자체에 심각한 오류가 포함된 경우 한계가 있을 수 있다. 또한, 클레임 추출 과정에서 모델의 해석 능력이 필요하므로, 추출된 클레임의 질에 따라 성능이 달라질 수 있다.

실용적 활용

CLR은 테스트 시 추론 추적의 신뢰도를 높이려는 산업 및 연구 분야에 유용하게 적용될 수 있다. 특히, 추론 추적 내 결정적 오류를 탐지해야 하는 의료, 법률, 금융 분야에서 효과적일 수 있다. 또한, 추론 모델의 토큰 사용량을 줄이면서 정확도를 유지해야 하는 애플리케이션에도 적합하다.