Auditing Multimodal LLM Raters: Central Tendency Bias in Clinical Ordinal Scoring

Multimodal large language models (LLMs) are increasingly explored as automated evaluators in clinical settings, yet their scoring behavior on ordinal clinical scales remains poorly understood. We benchmark three frontier LLM families against supervised deep learning models for scoring Clock Drawing Test (CDT) images on two public datasets using the Shulman rubric. While fully fine-tuned Vision Transformers achieve the best calibration (MAE 0.52, within-1 accuracy 91%), zero-shot LLMs remain competitive on tolerance-based agreement (GPT-5 MAE 0.67, within-1 accuracy 92%) despite higher absolute error. However, per-score analysis reveals that all three LLM families exhibit a pronounced central tendency effect (systematic endpoint compression): predictions are systematically compressed toward the middle of the scale, with over-prediction at the low end (score 0 to 1) and under-prediction at the high end (score 5 to 4). This effect disproportionately affects the clinically critical extremes where accurate scoring most impacts screening decisions for cognitive impairment. Targeted ablations show that neither few-shot exemplars spanning the full score range nor removing clinical terminology from the prompt eliminates the effect. Our findings extend the LLM-as-a-judge bias literature from NLP evaluation to clinical assessment, and highlight the need for calibration-aware evaluation and post-hoc calibration before deploying LLM-based raters in high-stakes screening workflows.

📋 한 줄 요약

**[멀티모달 LLM / 임상 평가]** 시계 그리기 검사(CDT) 이미지에 대한 정수 등급 점수에서 프론티어 멀티모달 LLM들이 일관된 중심 경향(central tendency) 편향을 보임을 정량 분석.

🎯 핵심 기여도

멀티모달 LLM이 임상 평가용 자동 채점자로 점점 활용되지만 정수 등급 척도에서의 채점 행태가 잘 이해되지 못하고 있다는 평가 공백 정의.
두 개 공개 데이터셋에서 Shulman 루브릭에 따라 시계 그리기 검사 이미지를 채점하는 3개 프론티어 LLM 가족과 지도학습 딥러닝을 벤치마크.
fully fine-tuned ViT가 calibration에서 최고(MAE 0.52, within-1 91%)인 반면 zero-shot LLM도 GPT-5 MAE 0.67, within-1 92%로 경쟁력 있음을 보고.
세 LLM 가족 모두 양 끝 점수를 중앙으로 압축하는 systematic endpoint compression 패턴을 보이며, 이는 인지 손상 판별에서 임상적으로 가장 중요한 극단 점수에 불균형적으로 영향을 미침.

💡 핵심 아이디어

LLM-as-a-judge 편향 연구는 NLP 평가에 집중되어 있으나 임상 정수 등급에서도 별개의 강한 편향(central tendency)이 작동하며, 이는 정확한 채점이 가장 중요한 끝점에서 가장 큰 오류를 만든다.

🔬 기술적 접근법

**모델/방법론**: 3개 프론티어 멀티모달 LLM 가족 vs fine-tuned ViT의 CDT 채점 비교.
**핵심 기법**: Shulman 루브릭 기반 채점, MAE·within-1 accuracy·per-score 분석, few-shot exemplar와 prompt에서 임상 용어 제거 등 targeted ablation.

📊 주요 결과

Fine-tuned ViT: MAE 0.52, within-1 91%.
GPT-5 zero-shot: MAE 0.67, within-1 92%.
세 LLM 가족 모두 끝점에서 중앙으로 압축되는 편향: 점수 0~1에서 과대 예측, 점수 5~4에서 과소 예측.
few-shot exemplar나 임상 용어 제거로도 이 효과가 제거되지 않음.

💭 의의 및 한계

**의의**: 임상 평가 워크플로에 LLM 채점자를 배치할 때 calibration-aware 평가와 post-hoc calibration이 필수임을 보임. **한계**: 단일 임상 척도(CDT, Shulman) 기반 연구로 다른 정수 등급 척도로의 일반화는 추가 검증 필요.

🚀 실용적 활용

임상 스크리닝에서 LLM 채점자 배치 전 calibration 진단.
다른 임상 평가(예: 통증·우울 척도) LLM 채점의 위험 진단.
LLM-as-a-judge 편향 연구를 임상 의사결정 도메인으로 확장.