DecisionPivot: A Diagnostic Benchmark for Decision Models in LLM Systems

Decision models support routing, guardrails, and output verification in LLM systems. However, item accuracy alone cannot establish whether models make correct decisions across controlled variations or assign reliable confidence to their predictions. We introduce DecisionPivot, a diagnostic benchmark comprising 48 tasks and 40,033 items across seven decision roles. Its core track contains 7,800 items from 13 generated task families, organized into contrast groups with computed answers verified by independently implemented solvers. The complementary reference track contains 32,233 items from 35 public test sets, preserving their original evaluation metrics. We evaluate 40 decision models and 14 general models using documented, model-specific protocols, assessing item and contrast-group accuracy, probability ordering, calibration, and empirical selective coverage. Our results reveal substantial differences obscured by aggregate scores: two 27B models separated by only 2.6 points on the reference track achieve contrast-group accuracies of 70.1% and 44.2%. Across 2,400 binary contrast pairs, Perplexity Decider correctly ranks the positive member above the negative member in 92.3% of pairs but answers both members correctly in only 74.1%, exposing a gap between probability ordering and decision correctness. Models with similar item accuracy also differ in the reliability of their high-confidence predictions. On a separate 1,296-item subset, GLM-5.3 achieves 93.5\% contrast-group accuracy at a higher reasoning setting, compared with 81.5% at its lowest effort. By linking errors to pivotal details and difficulty levels, DecisionPivot provides fine-grained diagnostics of decision failures that aggregate evaluation alone cannot reveal.

한 줄 요약

DecisionPivot은 LLM 시스템의 결정 모델을 진단하는 벤치마크로, 48개 태스크와 40,033개 항목을 포함하며 세부적인 결정 실패를 분석한다.

핵심 기여도

DecisionPivot은 7개 결정 역할에 걸쳐 48개 태스크, 40,033개 항목을 포함한 진단 벤치마크를 제시.
핵심 트랙(7,800개 항목)은 독립적으로 구현된 솔버로 검증된 대조 그룹을 포함.
40개 결정 모델과 14개 일반 모델을 평가하여, 단순 정확도가 감추는 차이를 드러냄.
GLM-5.3은 추론 설정에 따라 1,296개 항목에서 81.5%에서 93.5% 정확도로 개선됨.

핵심 아이디어

기존 평가에서 단순 항목 정확도는 결정 모델의 신뢰도를 제대로 반영하지 못한다. DecisionPivot은 결정 모델이 **결정 정확도**, **대조 그룹 내 일관성**, **확률 순서**, **신뢰도**를 동시에 평가함으로써, 단순 정확도가 감추는 문제를 드러내는 것을 목표로 한다. 핵심 트랙은 **13개 생성 태스크 가족**으로 구성되며, **대조 그룹** 내에서 **결정적 세부사항(pivotal detail)** 을 변경하여, 모델이 해당 세부사항에 민감하게 반응하는지 평가한다. 예를 들어, Perplexity Decider는 2,400개 이진 대조 쌍 중 92.3%에서 올바른 순서를 유지하지만, 두 항목 모두 정확히 답하는 경우는 74.1%에 불과하다. 이는 확률 순서와 결정 정확도 간의 격차를 드러낸다.

기술적 접근법

**DecisionPivot**은 7개 결정 역할에 걸쳐 48개 태스크, 40,033개 항목을 포함.
**핵심 트랙**: 13개 생성 태스크 가족, 7,800개 항목, 독립 솔버로 검증된 대조 그룹.
**참조 트랙**: 35개 공개 테스트 세트, 32,233개 항목, 원래 평가 지표 유지.
평가 지표: **개별 항목 정확도**, **대조 그룹 정확도(pair accuracy)**, **확률 순서**, **캘리브레이션**, **선택적 커버리지**.
평가 모델: 40개 결정 모델, 14개 일반 모델, 3개 API 채팅 모델.
**Perplexity Decider**와 **JEV-27B**는 참조 트랙에서 유사한 점수를 기록했으나, 핵심 트랙 대조 그룹 정확도 차이가 70.1% vs 44.2%로 커다란 차이를 보임.

주요 결과

**Perplexity Decider**는 2,400개 이진 대조 쌍 중 92.3%에서 올바른 순서를 유지했으나, 두 항목 모두 정확히 답한 경우는 74.1%에 불과함.
**Kev 27B**와 **JEV-27B**는 항목 정확도가 유사했으나, 고신뢰도 예측의 정확도가 달랐음.
**GLM-5.3**은 추론 설정이 높아질수록 1,296개 항목에서 81.5%에서 93.5%로 대조 그룹 정확도가 상승함.
**두 27B 모델**은 참조 트랙에서 2.6점 차이지만, 핵심 트랙 대조 그룹 정확도는 70.1% vs 44.2%로 큰 차이를 보임.

의의 및 한계

DecisionPivot은 단순 항목 정확도가 감추는 결정 모델의 **신뢰도**, **일관성**, **확률 순서**, **대조 그룹 내 정확도**를 동시에 평가함으로써, LLM 시스템의 결정 신뢰도를 보다 정확하게 진단할 수 있는 기반을 제공한다. 특히, **대조 그룹 내 일관성(pair accuracy)** 은 단일 항목 정확도보다 모델의 결정 신뢰도를 더 잘 반영하며, **확률 순서**와 **결정 정확도 간의 차이**를 분석함으로써 모델의 내부 메커니즘을 이해하는 데 도움을 준다. 그러나, 생성된 태스크는 모델의 실제 운영 환경과 완전히 동일하지 않을 수 있으며, 일부 공개 테스트 세트는 훈련 데이터와 중복될 수 있어 해석에 주의가 필요하다.

실용적 활용

DecisionPivot은 LLM 시스템에서 사용되는 **루팅**, **가드레일**, **출력 검증** 등 결정 모델의 신뢰도를 평가하는 데 활용될 수 있다. 특히, **고신뢰도 예측의 일관성**을 평가함으로써, 실제 운영 환경에서 **결정 오류**를 줄이고 **시스템 신뢰도**를 높이는 데 기여할 수 있다. 또한, **추론 설정에 따른 성능 변화**를 분석함으로써, 모델의 **추론 효율성**과 **정확도 간의 균형**을 최적화하는 데도 활용 가능하다.