$ECUAS_n$: A family of metrics for principled evaluation of uncertainty-augmented systems

In high-stakes automated decision-making, access to predictive uncertainty is essential for enabling users -- human or downstream systems -- to accept or reject predictions based on application-specific cost trade-offs. Such uncertainty-augmented (UA) systems -- i.e., systems that output both predictions and uncertainty scores -- are currently being assessed in the literature in a variety of ways, using separate metrics to evaluate the predictions and the uncertainty scores, setting a cost function with a fixed rejection cost or integrating over a coverage-risk curve. We argue that these evaluation approaches are inadequate for assessing overall performance of the UA system for decision making under uncertainty and propose a novel family of metrics, $ECUAS_n$, formulated as proper scoring rules for the task of interest. The parameter $n$ controls the trade-off between the cost of incorrect predictions and imperfect uncertainties depending on the needs of the use-case. We demonstrate the advantages of the $ECUAS_n$ metrics both theoretically and empirically, through experiments on diverse classification and generation datasets, including a manually annotated subset of TriviaQA.

한 줄 요약

**[불확실성 평가 / Proper Scoring Rule]** ECUAS_n은 uncertainty-augmented 시스템(예측+불확실성)을 task별 proper scoring rule로 평가하는 새 metric 패밀리, parameter n으로 오예측·불완전 불확실성 trade-off 제어, TriviaQA 등 다양 분류·생성 데이터셋에서 우수성 시연.

핵심 기여도

High-stakes 자동 의사결정에서 예측 불확실성 접근이 사용자(인간·downstream 시스템)에게 application-specific cost trade-off 기반 수락·기각 결정을 가능하게 함을 강조.
기존 평가 방법(예측·불확실성 별도 metric, 고정 rejection cost, coverage-risk curve 적분)이 UA 시스템 전체 성능 평가에 inadequate함을 지적.
ECUAS_n — task-specific proper scoring rule로 공식화된 새 metric 패밀리 제안.
Parameter n으로 use-case 요구에 맞춰 오예측 비용과 불완전 불확실성 비용의 trade-off 제어.

핵심 아이디어

UA 시스템의 전체 성능 평가는 별도 metric·고정 rejection cost·coverage-risk curve로는 부족하며, task에 맞는 proper scoring rule을 단일 metric 패밀리로 통일하면서 parameter n으로 use-case별 trade-off를 명시적으로 표현해야 한다.

기술적 접근법

**방법론**: ECUAS_n — Expected Cost of Uncertainty-Augmented System metric 패밀리.
**핵심 기법**: (1) Task-specific proper scoring rule 형식화, (2) Parameter n으로 cost trade-off 제어, (3) UA 시스템(prediction + uncertainty)의 통합 평가, (4) 기존 분리 평가·고정 rejection cost·coverage-risk 적분 대안 대체, (5) 다양 분류·생성 데이터셋(수동 주석 TriviaQA subset 포함)에서 실험.

주요 결과

ECUAS_n metric의 이론적 우수성 입증.
다양 분류 데이터셋에서 기존 평가 방식 대비 장점 실험 시연.
생성 데이터셋(수동 주석 TriviaQA subset)에서도 효과 확인.
Parameter n으로 cost 구조 유연 표현 가능.

의의 및 한계

**의의**: UA 시스템 평가의 통합 metric 패밀리 제공, proper scoring rule의 엄밀한 이론적 토대, 분류·생성 양쪽 적용 가능 일반성, parameter n으로 도메인 cost 구조 명시화. **한계**: Parameter n 선택의 도메인 의존성, proper scoring rule의 다중 답 환경(open-ended generation) 적용은 추가 검증, 매우 비대칭 cost 구조에서의 scaling 문제 가능.

실용적 활용

의료·금융·자율주행 등 high-stakes 시스템의 불확실성 인식 모델 평가.
LLM·QA 시스템의 거부·기권 메커니즘 평가.
Active learning·selective prediction 모델 선택 기준.