On the Utility and Factual Reliability of Pruned Mixture-of-Experts Models in the Biomedical Domain

Mixture-of-Experts (MoE) models offer inference speedups via selective activation but impose substantial memory requirements because the whole network must remain loaded. Structured expert pruning is a practical approach for reducing deployment costs in resource-constrained settings. However, prior studies primarily evaluate benchmark utility, leaving the effect of pruning on factual reliability underexplored, particularly in high-stakes domains such as biomedicine. In this paper, we investigate how domain-specific expert pruning affects both utility and reliability. We assess four MoE models, six pruning methods, and multiple pruning ratios across generation and classification tasks under in-domain (biomedical) and cross-domain settings. Results reveal that moderate pruning preserves in-domain utility without immediate reliability decline, although hallucination risks increase at extreme pruning ratios. When shifting to the general domain, both utility and reliability degrade rapidly. These findings indicate that safe compression depends heavily on the task and domain. Evaluating pruned MoE models solely on utility is inadequate for high-stakes deployment without reliability assessment.

한 줄 요약

의료 분야에서 전문가 전략적 제거가 성능과 사실 신뢰도에 미치는 영향을 체계적으로 분석한 연구.

핵심 기여도

첫 번째로 의료 분야에서 전문가 제거가 사실 신뢰도에 미치는 영향을 체계적으로 평가.
Qwen3.6 모델에서 EASY-EP 방법을 사용한 분류 작업에서 106.8%의 성능 유지.
GPT-OSS 모델에서 50% 전문가 제거 시 Multi-XScience 데이터셋에서 환상률이 17.3%로 증가.
Nemotron3 모델에서 50% 제거 시 Multi-XScience에서 절대 환상률이 44.7%로 급증.

핵심 아이디어

Mixture-of-Experts (MoE) 모델은 추론 속도를 향상시키지만, 전체 네트워크가 메모리에 로드되어 있어 메모리 부담이 크다. 전문가 제거(pruning)는 자원 제약 환경에서 배포 비용을 줄이는 실용적 방법이지만, 기존 연구는 주로 성능 평가에 집중하고 사실 신뢰도(factual reliability)는 거의 다루지 않았다. 특히 의료 분야처럼 고위험 도메인에서는 사실 오류가 현실적 실패로 이어질 수 있어 신뢰도 평가가 필수적이다. 본 연구는 의료 도메인에서 전문가 제거가 성능과 신뢰도에 미치는 영향을 체계적으로 분석한다. 전문가 제거가 전체 가중치 행렬을 제거함으로써 모델 아키텍처를 근본적으로 변화시키므로, 기존의 밀집 모델 제거와는 다른 영향을 미친다는 점이 핵심 통찰이다.

기술적 접근법

평가 대상: 4개의 MoE 모델 (Qwen3, Qwen3.6, GPT-OSS, Nemotron3), 6개의 전문가 제거 방법, 다양한 제거 비율.
작업 유형: 생성 및 분류 작업.
평가 지표: ROUGE-L, BERTScore, 절대 환상률, 정보 누락률, 반복률.
제거 방법: EASY-EP, REAP 등.
데이터셋: RCT, Multi-XScience.
하이퍼파라미터: 제거 비율 (25%, 50%, 75%).

주요 결과

Qwen3.6 모델에서 EASY-EP 방법을 사용한 분류 작업에서 106.8%의 성능 유지.
GPT-OSS 모델에서 50% 제거 시 Multi-XScience 데이터셋에서 절대 환상률이 17.3%로 증가.
Nemotron3 모델에서 50% 제거 시 Multi-XScience에서 절대 환상률이 44.7%로 급증.
Nemotron3 모델은 50% 제거 시 Multi-XScience에서 ROUGE-L 0.137, BERTScore 0.838 유지.
GPT-OSS 모델은 50% 제거 시 Multi-XScience에서 반복률 0.815, 절대 환상률 17.3% 증가.

의의 및 한계

본 연구는 고위험 도메인에서 MoE 모델의 전문가 제거가 성능과 사실 신뢰도에 미치는 영향을 체계적으로 평가한 첫 사례로, 의료 분야 모델 압축의 안전성 기준을 제시한다. 특히, 성능 지표가 안정적이더라도 사실 신뢰도가 급격히 저하될 수 있음을 밝혀, 단순히 성능 기준만으로는 모델 배포가 위험할 수 있음을 시사한다. 한계점으로는 제거 방법과 도메인 전이에 따른 신뢰도 변화를 더 다양한 모델과 데이터셋에서 검증할 필요가 있다.

실용적 활용

의료 분야에서 사용되는 대형 언어 모델의 배포 비용을 줄이려는 의료 기관이나 연구소에 적용 가능. 특히, 모델 압축 시 사실 신뢰도를 별도로 평가하여 임상적 오류를 방지하는 데 활용할 수 있다.