LingxiDiagBench: A Multi-Agent Framework for Benchmarking LLMs in Chinese Psychiatric Consultation and Diagnosis

Mental disorders are highly prevalent worldwide, but the shortage of psychiatrists and the inherent subjectivity of interview-based diagnosis create substantial barriers to timely and consistent mental-health assessment. Progress in AI-assisted psychiatric diagnosis is constrained by the absence of benchmarks that simultaneously provide realistic patient simulation, clinician-verified diagnostic labels, and support for dynamic multi-turn consultation. We present LingxiDiagBench, a large-scale multi-agent benchmark that evaluates LLMs on both static diagnostic inference and dynamic multi-turn psychiatric consultation in Chinese. At its core is LingxiDiag-16K, a dataset of 16,000 EMR-aligned synthetic consultation dialogues designed to reproduce real clinical demographic and diagnostic distributions across 12 ICD-10 psychiatric categories. Through extensive experiments across state-of-the-art LLMs, we establish key findings: (1) although LLMs achieve high accuracy on binary depression--anxiety classification (up to 92.3%), performance deteriorates substantially for depression--anxiety comorbidity recognition (43.0%) and 12-way differential diagnosis (28.5%); (2) dynamic consultation often underperforms static evaluation, indicating that ineffective information-gathering strategies significantly impair downstream diagnostic reasoning; (3) consultation quality assessed by LLM-as-a-Judge shows only moderate correlation with diagnostic accuracy, suggesting that well-structured questioning alone does not ensure correct diagnostic decisions. We release LingxiDiag-16K and the full evaluation framework to support reproducible research at https://github.com/Lingxi-mental-health/LingxiDiagBench.

한 줄 요약

중국어 정신건강 상담 및 진단에서 LLM 성능을 평가하기 위한 다대역 프레임워크 LingxiDiagBench를 제안하며, 16,000개의 EMR 기반 대화 데이터셋과 다양한 평가 과제를 소개한다.

핵심 기여도

LingxiDiag-16K: 16,000개의 진료기록 기반 합성 상담 대화 데이터셋을 구축.
3단계 진단 과제: 이진 분류(우울증 vs. 불안), 4-way 분류(복합 증상 포함), 12개 ICD-10 진단 코드 다중 라벨 예측.
Agent 기반 평가 프레임워크: Patient, Doctor, Diagnosis Agent로 구성.
다양한 LLM에서 실험: 우울증-불안 이진 분류 정확도 최대 92.3%, 12-way 분류 정확도 28.5%.

핵심 아이디어

기존 정신건강 진단 AI 벤치마크는 현실적 환자 시뮬레이션, 의사 검증 진단 라벨, 다단계 상담 지원을 결여하고 있었다. 본 연구는 이 문제를 해결하기 위해 LingxiDiagBench를 제안한다. 이는 진료기록(Electronic Medical Records, EMR)을 기반으로 16,000개의 합성 상담 대화를 생성한 LingxiDiag-16K 데이터셋을 핵심으로 하며, 실제 임상 상황을 반영한 다대역 상담 시뮬레이션 환경을 구축한다. 특히, Patient Agent는 진짜 환자의 행동을 모방하도록 설계되어, 평가 점수 4.67/5 (Qwen3-32B)를 달성하며, 기존 시뮬레이션 대비 우수한 성능을 보인다. 이는 상담 전략(예: Symptom-Tree, APA-Guided, MRD-RAG)이 진단 정확도에 직접적인 영향을 미친다는 점을 강조한다.

기술적 접근법

**LingxiDiag-16K**: 진료기록 기반으로 생성된 16,000개의 합성 상담 대화. 12개 ICD-10 정신질환 범주를 포함.
**Agent 기반 평가 프레임워크**: Patient Agent(환자 시뮬레이션), Doctor Agent(상담 전략 실행), Diagnosis Agent(증거 기반 진단).
**상담 전략**: Free-form, Symptom-Tree, APA-Guided, APA-Guided + MRD-RAG.
**평가 지표**: Clf-Ovl(진단 일치도), LLM-Ovl(상담 품질), 정확도(예: 2-class 92.3%, 12-class 28.5%).

주요 결과

**이진 분류**: 우울증-불안 분류 정확도 최대 92.3% (LingxiDiag-16K).
**복합 증상 분류**: 우울증-불안 병합 인식 정확도 43.0%.
**12-way 분류**: 정확도 28.5%.
**상담 품질 vs. 진단 정확도**: 상담 품질(LLM-Ovl)과 진단 정확도(Clif-Ovl) 간 상관계수 0.43.
**MRD-RAG 추가 효과**: APA-Guided + MRD-RAG 전략으로 전체 분류 성능 5% 향상 (Table 6).

의의 및 한계

LingxiDiagBench는 정신건강 진단 AI 모델의 진단 능력을 체계적으로 평가할 수 있는 첫 번째 대규모 중국어 기반 벤치마크이다. 특히, 환자 시뮬레이션의 정확성과 상담 전략의 영향을 명확히 평가할 수 있는 환경을 제공한다. 그러나, 환자 표현의 다양성과 비표준 증상 패턴을 완전히 재현하지 못한다는 한계가 있다. 또한, 중국어 중심 설계로 인해 다른 언어 모델의 성능 평가에는 제한이 있으며, 치료 계획 및 추적 평가와 같은 후속 임상 단계는 아직 포함되지 않았다.

실용적 활용

LingxiDiagBench는 정신건강 전문 인력 부족 상황에서 AI 지원 진단 도구의 개발과 평가에 활용될 수 있다. 특히, 상담 전략 최적화와 진단 정확도 향상을 위한 모델 훈련 및 비교 실험에 유용하며, 임상 현장에서의 실제 적용 가능성 검증에도 기여할 수 있다.