A Closer Look at AUROC and AUPRC under Class Imbalance

In machine learning (ML), a widespread claim is that the area under the precision-recall curve (AUPRC) is a superior metric for model comparison to the area under the receiver operating characteristic (AUROC) for tasks with class imbalance. This paper refutes this notion on two fronts. First, we theoretically characterize the behavior of AUROC and AUPRC in the presence of model mistakes, establishing clearly that AUPRC is not generally superior in cases of class imbalance. We further show that AUPRC can be a harmful metric as it can unduly favor model improvements in subpopulations with more frequent positive labels, heightening algorithmic disparities. Next, we empirically support our theory using experiments on both semi-synthetic and real-world fairness datasets. Prompted by these insights, we conduct a review of over 1.5 million scientific papers to understand the origin of this invalid claim, finding that it is often made without citation, misattributed to papers that do not argue this point, and aggressively over-generalized from source arguments. Our findings represent a dual contribution: a significant technical advancement in understanding the relationship between AUROC and AUPRC and a stark warning about unchecked assumptions in the ML community.

한 줄 요약

AUPRC가 AUROC보다 클래스 불균형 상황에서 우수하다는 일반적 주장이 이론적·실험적으로 반박된다.

핵심 기여도

AUPRC가 클래스 불균형 상황에서 일반적으로 우수하지 않음을 이론적으로 입증.
AUPRC는 높은 양성 라벨 비율의 서브인구에 과도하게 유리해 알고리즘적 불평등을 심화시킬 수 있음.
150만 편 이상의 과학 논문 검토를 통해 AUPRC 우위 주장이 인용 없이 퍼지고 오인용되는 현상을 밝힘.
AUROC와 AUPRC 간 관계에 대한 기술적 이해를 확장하고, ML 커뮤니티의 무분별한 가정에 경고를 발신.

핵심 아이디어

AUPRC가 클래스 불균형 상황에서 AUROC보다 우수하다는 주장은 오랫동안 ML 커뮤니티에서 널리 받아들여졌으나, 본 연구는 이 주장이 이론적으로 성립되지 않음을 밝힘. 특히, AUPRC 최적화는 모델이 높은 점수를 출력하는 영역에서 오류율(FPR)을 줄이는 데 집중하며, 이는 높은 양성 라벨 비율을 가진 서브그룹에 과도하게 유리할 수 있음. 이는 알고리즘적 불평등을 심화시킬 수 있는 위험성을 내포한다.

또한, 연구는 AUPRC 우위 주장이 과학 논문에서 인용 없이 퍼지고, 원래 주장하지 않은 논문에 잘못 인용되며 과도하게 일반화되는 경향을 발견함. 이는 ML 연구의 신뢰성을 저해하는 문제를 드러냄.

기술적 접근법

**이론적 분석**: AUROC와 AUPRC의 수학적 성질을 비교하여, AUPRC가 클래스 불균형 상황에서 일반적으로 우수하지 않음을 입증.
**실험적 검증**: 반가상(synthetic) 및 실제 공정성(fairness) 데이터셋을 사용하여 AUPRC의 서브인구 편향성을 실증.
**문헌 검토**: 150만 편 이상의 과학 논문을 검토하여 AUPRC 우위 주장의 출처와 전파 경로를 분석.
**비교 지표**: AUROC는 양성 샘플 점수에 대해 FPR을 무편향하게 최소화하는 반면, AUPRC는 높은 점수 영역에서만 FPR을 줄이는 경향을 보임.

주요 결과

**AUPRC 편향성**: AUPRC 최적화는 높은 양성 라벨 비율 서브그룹에 과도하게 유리함.
**문헌 분석 결과**: AUPRC 우위 주장은 인용 없이 퍼지고, 오인용 및 과도한 일반화가 빈번함.
**실험적 결과**: 반가상 및 실제 공정성 데이터셋에서 AUPRC가 특정 서브인구에 유리함을 확인.
**AUROC vs. AUPRC**: AUROC는 FPR을 무편향하게 최소화하는 반면, AUPRC는 높은 점수 영역에서만 FPR을 줄임.

의의 및 한계

본 연구는 ML 모델 평가 지표 선택의 중요성을 강조하며, AUPRC가 클래스 불균형 상황에서 일반적으로 우수하다는 오해를 정정함. 특히, AUPRC가 알고리즘적 불평등을 심화시킬 수 있다는 점은 공정성 연구에 중요한 시사점을 제공한다. 그러나 본 연구는 특정 데이터셋과 실험 환경에 기반하기 때문에, 모든 상황에서 동일하게 적용될 수는 없다는 한계가 있음. 또한, 모델 최적화 목적에 따라 AUROC와 AUPRC가 서로 다른 의미를 지닐 수 있으므로, 평가 지표 선택은 맥락에 따라 달라져야 함.

실용적 활용

의료, 금융, 보안 등 클래스 불균형이 심각한 분야에서 모델 평가 시 AUROC와 AUPRC의 차이를 정확히 이해하고, 평가 지표 선택에 신중함을 기울여야 함. 특히, 모델이 특정 서브인구에 과도하게 유리하게 작동하지 않도록 평가 지표를 다각적으로 고려해야 하며, 모델의 공정성과 신뢰성을 확보하는 데 기여할 수 있음.