EDU-CIRCUIT-HW: Evaluating Multimodal Large Language Models on Real-World University-Level STEM Student Handwritten Solutions

Multimodal Large Language Models (MLLMs) hold significant promise for revolutionizing traditional education and reducing teachers' workload. However, accurately interpreting unconstrained STEM student handwritten solutions with intertwined mathematical formulas, diagrams, and textual reasoning poses a significant challenge due to the lack of authentic and domain-specific benchmarks. Additionally, current evaluation paradigms predominantly rely on the outcomes of downstream tasks (e.g., auto-grading), which often probe only a subset of the recognized content, thereby failing to capture the MLLMs' understanding of complex handwritten logic as a whole. To bridge this gap, we release EDU-CIRCUIT-HW, a dataset consisting of 1,300+ authentic student handwritten solutions from a university-level STEM course. Utilizing the expert-verified verbatim transcriptions and grading reports of student solutions, we simultaneously evaluate various MLLMs' upstream recognition fidelity and downstream auto-grading performance. Our evaluation uncovers an astonishing scale of latent failures within MLLM-recognized student handwritten content, highlighting the models' insufficient reliability for auto-grading and other understanding-oriented applications in high-stakes educational settings. As a potential solution, we present a case study demonstrating that leveraging identified error patterns to preemptively detect and correct recognition errors, while requiring only minimal human intervention (e.g., routing 3.3% of assignments to human graders and the remainder to the GPT-5.1 grader), can effectively enhance the robustness of the deployed AI-enabled grading system. Code and dataset are available in this GitHub repo: https://gt-learning-innovation.github.io/CIRCUIT_EDU_HW_ACL.

📋 한 줄 요약

**[멀티모달 LLM / 교육 평가]** 대학 STEM 강좌의 실제 손글씨 풀이 1,300건 이상으로 구성된 EDU-CIRCUIT-HW를 공개하고 MLLM의 인식·자동 채점 능력을 동시에 평가한다.

🎯 핵심 기여도

수식·다이어그램·텍스트 추론이 얽힌 비정형 STEM 학생 손글씨 풀이를 다루는 최초의 대학 STEM 강좌 기반 인증 데이터셋 EDU-CIRCUIT-HW(1,300+ 풀이) 공개
전문가 검증 verbatim 전사와 채점 보고서를 활용해 업스트림 인식 충실도와 다운스트림 자동 채점 성능을 동시에 평가하는 새로운 패러다임 제시
기존의 다운스트림 단일 평가가 인식 품질의 잠재적 실패를 가린다는 점을 정량적으로 폭로
식별된 오류 패턴으로 인식 오류를 사전 검출·수정하고 일부 답안만 사람에게 라우팅하는 실용적 하이브리드 채점 워크플로 제시

💡 핵심 아이디어

MLLM의 STEM 자동 채점은 그럴듯해 보여도, 평가가 채점 결과만 보면 인식 단계에서 손실된 정보를 놓치게 된다. 진짜로 모델이 손글씨 풀이를 이해했는지 보려면 인식 충실도 자체를 직접 측정해야 하며, 이를 위해서는 verbatim 전사와 강의 기준 채점이 결합된 인증 데이터가 필요하다.

🔬 기술적 접근법

**모델/방법론**: EDU-CIRCUIT-HW 벤치마크 + 사전 오류 검출·라우팅 기반 하이브리드 채점 시스템 케이스 스터디
**핵심 기법**: 대학 STEM 강좌의 학생 손글씨 풀이 1,300여 건을 전문가가 verbatim으로 전사하고 채점 보고서와 정렬해, MLLM의 (a) 인식 단계 충실도와 (b) 자동 채점 결과를 동시에 평가. 케이스 스터디에서는 식별된 인식 오류 패턴으로 위험 답안을 선별해 약 3.3%만 사람이 채점하고 나머지는 GPT-5.1 채점기로 처리하는 라우팅 파이프라인을 제안

📊 주요 결과

MLLM이 인식한 학생 손글씨 컨텐츠 안에 놀라운 규모의 잠재적 실패가 광범위하게 존재함을 발견
자동 채점만 보면 드러나지 않던 인식 신뢰성 문제를 명시적으로 정량화
약 3.3%의 답안만 사람에게 라우팅하는 하이브리드 시스템으로 자동 채점의 강건성을 크게 개선

💭 의의 및 한계

**의의**: 고위험 교육 환경에서 MLLM의 한계를 명확히 드러내고 실제 배포 가능한 하이브리드 채점 청사진을 제시한다는 점에서 교육 AI의 신뢰성 평가 방법론에 중요한 기여를 한다. **한계**: 데이터가 단일 대학·도메인 중심이라 다양한 STEM 분야와 언어로의 일반화는 추가 검증이 필요하고, 라우팅 임계값은 실제 운영 환경에 따라 재보정이 요구된다.

🚀 실용적 활용

대학 STEM 자동 채점 시스템에서 인식 품질 검증·라우팅 모듈
MLLM 손글씨 인식 모델 학습용 도메인 인증 데이터셋
교육 AI 도구의 실패 모드 분석 및 신뢰성 보고서 작성용 벤치마크