JEV-as-a-Judge: Accept When Confident, Escalate When Unsure

LLM-as-a-judge enables evaluation across diverse tasks, but inference cost and confidence reliability become critical at scale. We study whether a decision-only judge can provide an economical first pass and identify when stronger evaluation is needed. Comparing jev-as-a-judge with sixteen generative and reward-model judges, with blinded human adjudication, we find it within three percentage points of a state-of-the-art LLM judge, our strongest comparator, on ordinary preference and evidence-grounded factuality at 0.36% of the comparator's fee. Larger gaps arise when judgments require checking a derivation or resisting an elaborately written wrong answer. On several benchmarks, JEV's gap to this comparator is concentrated in low-confidence decisions. A frozen cascade that accepts confident verdicts and escalates uncertain ones retains 99% of the comparator's accuracy at lower cost.

한 줄 요약

JEV-as-a-Judge는 저비용으로 신뢰도 높은 판단을 제공하며, 불확실한 경우에만 강력한 모델로 전달하는 방식으로 99%의 정확도를 유지한다.

핵심 기여도

JEV-as-a-Judge가 최신 LLM judge(GPT-6)와 비교해 3% 이내의 정확도 차이를 보이며, 비용은 0.36% 수준이다.
JEV는 신뢰도가 낮은 판단을 강력한 LLM으로 전달함으로써 99%의 정확도를 유지하면서 57%의 비용 절감을 달성한다.
JEV는 일반적인 선호도 판단과 근거 기반 사실성 평가에서 높은 성능을 보인다.

핵심 아이디어

JEV-as-a-Judge는 단순한 판단과 확률만을 반환하는 decision-only 인터페이스를 사용한다. 이는 LLM이 스스로의 신뢰도를 평가하여, 확신 있는 판단은 그대로 채택하고, 불확실한 경우에만 강력한 모델로 전달하는 방식이다. 이 접근은 비용 효율성을 극대화하면서도 정확도를 유지하려는 목표를 달성한다. 핵심 통찰은 "신뢰도가 판단의 신뢰성과 직접적으로 연관된다"는 점이다. JEV는 TypeSafe JEV라는 호스팅된 서비스를 통해 구현되며, 자연어 지시와 구조화된 입력을 받아 특정 출력 타입에 대한 판단을 반환한다.

기술적 접근법

JEV는 **decision-only interface**를 사용하여, 판단과 확률만 반환하며, 추론 과정은 생략한다.
**TypeSafe JEV**는 호스팅된 서비스로, 자연어 지시와 구조화된 입력을 받아 판단을 반환한다.
비교 대상으로는 16개의 생성형 LLM judge와 reward model이 사용되었으며, **blind human adjudication**을 통해 분쟁을 검토했다.
**JEV의 비용**은 GPT-6 대비 0.36%이며, **1,000개 판단당 약 $0.04**, **평균 0.15초** 소요된다.
**신뢰도 기반 캐스케이드**(confidence-based cascade)는 확신 있는 판단은 채택하고, 불확실한 판단은 강력한 LLM으로 전달한다.

주요 결과

**Ordinary preference**와 **evidence-grounded factuality** 평가에서 JEV는 GPT-6와 3% 이내의 정확도 차이를 보인다.
**Derivation 체크**나 **복잡한 오답 식별**이 필요한 경우, JEV는 GPT-6 대비 큰 정확도 격차를 보인다.
**신뢰도 기반 캐스케이드**를 사용하면, GPT-6의 99% 정확도를 57%의 비용으로 달성한다.
**JEV의 비용**은 GPT-6 대비 0.36%이며, 1,000개 판단당 $0.04, 0.15초 소요된다.

의의 및 한계

JEV-as-a-Judge는 대규모 평가에서 비용 효율성을 극대화하면서도 일정 수준의 정확도를 유지할 수 있는 새로운 평가 패러다임을 제시한다. 특히, **신뢰도 기반 캐스케이드**는 자원을 효율적으로 할당할 수 있는 핵심 기술로, **99%의 정확도**를 유지하면서 **57%의 비용 절감**을 달성한다. 그러나 JEV는 **자연어 문장 평가**나 **복잡한 유도 과정 체크**가 필요한 작업에서는 한계가 있으며, 이러한 경우 강력한 LLM이 필요하다. 또한, **신뢰도는 증명이 아닌 신호**이므로, **로컬 검증**(local validation)이 필수적이다.

실용적 활용

JEV-as-a-Judge는 대규모 LLM 응답 평가, 훈련 데이터 품질 검증, 응답 선택 등에서 활용 가능하다. 특히, **비용 효율적인 첫 번째 평가 단계**로 사용할 수 있으며, **복잡한 작업에서는 강력한 모델로 전달**하는 방식으로 시스템 운영 비용을 절감할 수 있다. **신뢰도 기반 캐스케이드**는 자동화된 평가 시스템 구축에 유용하다.