Evaluating Reliability in Machine Learning Models for Early Chronic Kidney Disease Prediction: A Systematic Review of Data Leakage and Predictor Stability

The early detection of Chronic Kidney Disease using machine learning has attracted significant interest in healthcare-related computer science. Despite rapid advancements in this field, many reported studies remain inconsistent and potentially misleading. A significant drawback is the lack of organized evaluation regarding methodological concerns. Key issues include data leakage, limited access to temporal patient records and inconsistency in reported clinical indicators. This research offers a systematic literature review of existing CKD prediction studies using interpretable machine learning techniques, where nineteen relevant studies were selected via systematic searches across major academic databases. To assess methodological reliability, this study introduces a structured taxonomy of information leakage and a quantitative leakage scoring framework to systematically evaluate reliability across CKD prediction studies. The analysis reveals a strong relationship between leakage and inflated performance. Here, High leakage-studies report an average accuracy of 95.48%, compared to 80.2% for leakage-free studies, reflecting an increase of approximately 15.28%. Furthermore, a cross-study feature stability analysis shows that only a small subset of predictors is consistently reproducible, with over 80% lacking reliability. Overall, the findings suggest that many reported performance improvements stem from methodological limitations rather than true predictive capability.

한 줄 요약

만성 신장병(CKD) 예측 모델에서 데이터 누수와 예측자 안정성 문제를 체계적으로 평가한 연구.

핵심 기여도

데이터 누수를 직접 누수, 프록시 누수, 시간 누수로 구분한 체계적 분류 프레임워크 제시.
누수 점수를 기반으로 19개 연구를 평가하여 누수 유무에 따른 정확도 차이(95.48% vs. 80.2%)를 분석.
14개 변수만으로 80%의 예측자 커버리지를 달성하는 '파레토 효과'를 밝혀, 추가 예측자의 효율성 저하를 입증.
낮은 누수 연구에서 반복 가능한 예측자 비율은 20% 미만으로, 대부분의 예측자가 데이터셋에 의존적임을 밝힘.

핵심 아이디어

CKD 예측 모델의 신뢰성을 평가하기 위해 데이터 누수와 예측자 안정성이라는 두 가지 핵심 요소를 중심으로 체계적 리뷰를 수행하였다. 기존 연구는 과도한 성능 보고가 데이터 누수로 인한 결과일 수 있다는 점을 지적하며, 누수 유형을 세분화하여 실험 설계의 일관성을 제고하려는 시도를 했다. 특히, CKD 진단 기준과 직접 관련된 변수(eGFR, 혈청 크레아티닌)가 누수 유발 요인으로 작용할 수 있음을 강조하였다. 또한, 낮은 누수 연구에서 반복 가능한 예측자는 극히 적고, 대부분의 예측자가 특정 데이터셋에 의존한다는 점에서 일반화 가능성에 대한 우려를 제기하였다.

기술적 접근법

** 누수 분류 프레임워크**: 직접 누수, 프록시 누수, 시간 누수로 세분화.
** 누수 점수**: 누수 수준에 따라 연구별 신뢰도를 정량적으로 평가.
** 파레토 분석**: 14개 변수로 80%의 예측자 커버리지를 달성, 추가 예측자의 효율성 저하를 입증.
** 데이터셋**: UCI Machine Learning Repository에서 공개된 데이터 사용.
** 분석 대상**: 19개 연구, 주요 모델로는 Random Forest, XGBoost, CatBoost 등 트리 기반 앙상블 모델 사용.

주요 결과

누수 있는 연구의 평균 정확도는 95.48%, 누수 없는 연구는 80.2%로, 15.28%의 차이 발생.
반복 가능한 예측자 비율은 20% 미만, 80% 이상의 예측자가 데이터셋에 의존.
낮은 누수 연구에서 반복 가능한 예측자로는 나이, 혈압, 당뇨 조절 등 3가지 변수만 일관성 있음.
파레토 분석에서 14개 변수로 80%의 예측자 커버리지 달성, 추가 예측자 효율성 감소.

의의 및 한계

이 연구는 CKD 예측 모델의 과장된 성능이 데이터 누수로 인한 결과일 수 있음을 명확히 밝혀, 모델 신뢰도 평가의 중요성을 강조한다. 또한, 예측자 안정성 분석을 통해 모델의 일반화 가능성에 대한 우려를 제기하며, 체계적인 평가 프레임워크의 필요성을 강조한다. 그러나 시간 동적 분석은 포함되지 않았으며, 실제 임상 환경에서의 모델 적용 가능성에 대한 평가도 부재한 점이 한계이다. 연구는 공개 데이터만을 사용했기 때문에, 더 다양한 환경에서의 검증이 필요하다.

실용적 활용

이 연구는 의료 AI 모델 개발자들이 데이터 누수를 방지하고, 반복 가능한 예측자를 선택하는 데 도움을 줄 수 있다. 특히, CKD 조기 진단 시스템 설계 시, 데이터셋 의존성을 줄이고 일반화 가능한 모델을 구축하는 데 활용 가능하다. 또한, 임상 의사가 모델 신뢰도를 판단하는 데도 참고가 될 수 있다.