self-supervised-learning diabetic-retinopathy calibrated-confidence selective-prediction medical-image-models pretraining-duration reliability-evaluation abstention
Abstract
Self-supervised learning (SSL) is now a standard way to pretrain medical image models, but performance is still mostly judged by downstream accuracy. For safety-critical screening tasks such as diabetic retinopathy grading, this is not enough: a model must also know when its predictions are unreliable and defer uncertain cases for clinical review. In this work, we examine how the length of SSL pretraining influences calibrated confidence and confidence-based abstention. We evaluate multiple SSL checkpoints under a fixed fine-tuning protocol and assess calibrated confidence, coverage, selective accuracy, and selective macro-F1. Across datasets and data regimes, SSL pretraining improves selective prediction compared to training from scratch. Unlike prior SSL studies that primarily evaluate downstream accuracy or AUROC, we analyze how SSL pretraining duration influences confidence behavior under calibrated confidence-based abstention. However, once accuracy saturates, selective performance can still change markedly across checkpoints, and longer pretraining does not consistently improve reliability. These results underscore the importance of abstention-aware evaluation and suggest that pretraining length should be treated as an important reliability-related design choice rather than only a computational detail. Code is available at GitHub.
한국어 요약
한 줄 요약
**[자기지도 학습 / 안전 임계 의료 AI]** 당뇨망막병증(DR) 스크리닝에서 SSL 사전학습 기간이 calibrated confidence와 신뢰도 기반 abstention 성능에 미치는 영향을 체계적으로 분석.
핵심 기여도
- SSL 사전학습이 의료 영상 모델의 표준 절차가 되었음에도 평가가 주로 downstream accuracy·AUROC에 머물러 안전 임계 스크리닝에 필수적인 "모를 때는 멈추는" 능력을 측정하지 못한다는 평가 공백 정의.
- 다수의 SSL 체크포인트를 동일한 fine-tuning 프로토콜로 평가하고, calibrated confidence, coverage, selective accuracy, selective macro-F1을 모두 측정.
- 기존 SSL 연구가 거의 다루지 않았던 "사전학습 길이 → confidence 동작" 인과를 calibrated abstention 관점에서 분석.
- 정확도가 saturate된 이후에도 selective performance가 체크포인트에 따라 크게 변하며, 더 긴 사전학습이 반드시 더 신뢰도 높은 모델을 만들지 않음을 정량 보고. 코드 공개.
핵심 아이디어
"정확도와 신뢰도는 같은 곡선을 따르지 않는다"는 관찰. 특히 안전 임계 스크리닝에서는 모델이 자신의 불확실성을 적절히 표현하고 임상의 검토로 위임하는 능력이 정확도 자체보다 중요한 신뢰성 지표가 되어야 한다는 입장.
기술적 접근법
- **모델/방법론**: 다수 SSL 체크포인트(사전학습 길이 변화) → 동일 DR grading fine-tuning 프로토콜.
- **핵심 기법**: confidence calibration, confidence threshold 기반 selective prediction, coverage·selective accuracy·selective macro-F1을 다양한 데이터 양 조건에서 평가.
주요 결과
- 여러 데이터셋·데이터 양 체제에서 SSL 사전학습이 from-scratch 대비 selective prediction 성능을 일관되게 개선.
- 정확도 saturate 이후에도 selective performance는 체크포인트별로 크게 변동.
- 사전학습 길이를 단순히 "더 길수록 좋다"고 보기 어려우며, 신뢰성 측면에서 별도 최적점 존재 가능성 시사.
의의 및 한계
**의의**: SSL 사전학습 기간을 "연산 자원의 문제"가 아니라 reliability와 관련된 설계 결정으로 재정의함으로써 안전 임계 의료 AI 평가 프로토콜에 새로운 축을 도입. **한계**: 평가가 DR 스크리닝 중심이며, 다른 임상 태스크·모달리티로의 일반화는 후속 연구 과제.
실용적 활용
- 당뇨망막병증 스크리닝 등 deferral이 핵심인 임상 AI 시스템의 모델 선택.
- SSL 기반 의료 영상 백본 학습 파이프라인의 체크포인트 선택 가이드.
- "abstention-aware evaluation"을 다른 안전 임계 분야(병리·방사선)로 확장하는 평가 템플릿.