Partially Correlated Verifier Cascades in LLM Harnesses: Concave Log-Odds, Polynomial Reliability, and Blind-Spot Ceilings

Serial verification gates are a core reliability primitive in LLM harnesses: a candidate answer is returned only if k verifier calls all accept it. Under conditionally independent gates, the recent Odds Law (arXiv:2606.15712) shows that posterior log-odds grow linearly in k, so failure decays exponentially, and states that "a tight theory of partially correlated verifier cascades remains open." This note gives a minimal such theory. Modeling the per-instance false-accept rate on the generator's own errors as a latent variable αsim G (de Finetti), the exact cascade posterior is ell_k = ell_0 - ln m_k, with m_k the k-th moment of G. Then: (i) ell_k is concave in k for every non-degenerate G -- the Odds Law is its tangent at the first gate and an upper bound; (ii) for Beta(a,b) latents, failure decays polynomially, 1-r_k asymp k^{-b}, with correlation parameter ρ_v = 1/(a+b+1); (iii) a blind-spot atom of mass 1-π at α=1 caps the evidence extractable from any number of gates at -ln(1-π) nats, so reliability saturates below 1; (iv) letting the true-accept rate also vary (βsim H) yields a trichotomy -- gates eventually always help, plateau, or actively harm -- decided by the upper-tail exponents of G and H, with closed-form crossover k^dagger. The mechanism is survivorship: errors surviving gates are the high-α ones. The theory is measurable: R repeated verdicts per instance identify the first R moments of G, so two verdicts identify ρ_v; beta-binomial likelihood and NPMLE recover the reliability curve and the ill-posed ceiling. In synthetic tests, independence-based extrapolation underestimates failure by 20x at k=5 and ~3000x at k=10; the correlated fit at R=8 tracks held-out depths. The practical lever is decorrelation -- changing model family, modality, or evidence source -- not adding gates.

한 줄 요약

LLM 검증 게이트의 부분적 상관성을 수학적으로 모델링하여, 신뢰도의 폴리노미얼 감소와 상한선을 정량화한다.

핵심 기여도

**정확한 캐스케이드 사후 확률 모델**: `ℓ_k = ℓ_0 − ln m_k`로 표현, 여기서 `m_k`는 분포 `G`의 `k`-차 모멘트.
**Beta 분포 하에서 폴리노미얼 신뢰도**: `1−r_k ∼ k^−b`, 상관도 파라미터 `ρ_v = 1/(a + b + 1)`.
**블라인드 스팟 상한선**: `α=1`에서 질량 `1−π`를 갖는 경우, 최대 증거는 `-ln(1−π)` nats.
**두 측면의 삼분법**: `G`와 `H`의 꼬리 지수에 따라 게이트가 도움이 되거나 해로운 경우를 닫힌 형태로 정량화.

핵심 아이디어

기존 Odds Law는 조건부 독립 가정 하에서 사후 로그 오즈가 선형 증가한다고 가정하지만, 실제로는 검증 게이트 간 상관성이 존재한다. 이 논문은 각 인스턴스의 거짓 수용률 `α`를 잠재 변수로 모델링하고, 이를 기반으로 `ℓ_k = ℓ_0 − ln m_k`를 유도한다. 여기서 `m_k`는 `G`의 `k`-차 모멘트로, `ℓ_k`는 `k`에 대해 오목함수(concave)가 되며, 이는 독립 가정이 상한선을 과소평가한다는 것을 의미한다. 특히, `α`가 Beta 분포를 따를 경우, 신뢰도는 지수 감소가 아닌 `k^−b` 형태로 감소하며, 상관도 파라미터 `ρ_v`가 이 과정을 제어한다. 또한, `α=1`에서 질량이 존재하면, 신뢰도는 1에 도달하지 못하고 상한선이 생긴다.

기술적 접근법

**잠재 변수 모델**: `α ∼ G`로 모델링, `ℓ_k = ℓ_0 − ln m_k`에서 `m_k = E[α^k]`.
**Beta 분포**: `G = Beta(a, b)`일 때, `1−r_k ∼ k^−b`, `ρ_v = 1/(a + b + 1)`.
**블라인드 스팟**: `α=1`에서 질량 `1−π`를 가짐, 최대 증거는 `-ln(1−π)` nats.
**두 측면의 삼분법**: `β ∼ H`일 때, `ℓ_k ≈ const + (b_α − b_β) ln k`로, `b_α`와 `b_β`의 비교에 따라 게이트가 도움이 되거나 해로운 경우를 정량화.
**추정 방법**: `R`개의 반복 판정으로 `G`의 첫 `R`개 모멘트를 추정, `R=2`로 `ρ_v`를 추정 가능.

주요 결과

**Beta 분포 실험**: `k=5`에서 독립 가정 기반 추정이 실제 실패율을 20배, `k=10`에서는 약 3000배 과소평가.
**상관성 모델링**: `R=8`에서 추정한 모델이 테스트 데이터와 잘 일치.
**블라인드 스팟**: `α=1`에서 질량이 존재하면, 신뢰도는 1에 도달하지 못함.
**삼분법**: `b_α > b_β`일 때 게이트가 도움, `b_α = b_β`일 때 플랫, `b_α < b_β`일 때 해로움.

의의 및 한계

이 연구는 LLM 검증 시스템에서 상관성 효과를 정량적으로 모델링한 최초의 이론적 기반을 제공한다. 특히, `ℓ_k`의 오목성과 폴리노미얼 감소, 블라인드 스팟 상한선은 기존 독립 가정 기반 이론과는 근본적으로 다른 결과를 제시한다. 그러나 이론은 `G`와 `H`의 분포를 Beta로 가정하며, 실제 데이터에서 이 분포가 항상 성립하지 않을 수 있다. 또한, `R=2`로 `ρ_v`를 추정할 수 있지만, 더 정확한 추정에는 더 많은 반복이 필요하다.

실용적 활용

이 이론은 LLM 검증 시스템의 신뢰도를 정량적으로 평가하고, 상관성을 줄이기 위한 모델/모달리티/증거 출처 변경 전략을 제안한다. 특히, `ρ_v` 추정을 통해 검증 게이트의 효과를 사전에 평가할 수 있으며, 이는 산업적 LLM 배포 환경에서 실용적 개선을 가능하게 한다.