Abstract
Large-language-model (LLM) graders promise to relieve the grading burden of upper-division STEM courses, but most deployments to date send student work to third-party APIs, violating FERPA and exposing institutions to data risk while requiring substantial assignment modification. We present $\textbf{LaTA}\ (\textit{LaTeX Teaching Assistant})$, a drop-in, open-source autograder that runs entirely on commodity on-premises hardware and assumes a LaTeX-native workflow already adopted by many engineering and physics courses. LaTA implements a four-stage pipeline (ingest, segment, grade, report) using a locally hosted open-weight chain-of-thought LLM grader (gpt-oss:120b) that compares student work to an instructor-authored reference solution and applies a YAML rubric with binary per-item scoring. We deployed LaTA in Winter~2026 in ME 373 (Mechanical Engineering Methods) at Oregon State University, grading every weekly assignment for approximately 200 students on a single Mac Studio at \$0 marginal cost per assignment and 1--3 minutes of wall-clock time per submission, enabling regrading of corrected assignments and greatly expanded TA office hour offerings. The instructor-confirmed grading-error rate held at roughly $0.02$--$0.04\%$ per rubric line item across the term. Relative to the same instructor's previous traditionally-graded cohort, the LaTA-graded cohort outperformed by approximately $11\%$ on the midterm exam and $8\%$ on the final exam, and reported large gains in self-assessed confidence on every stated learning objective ($N = 159$ survey responses, $\Delta \geq +1.49$ Likert points, $p < 10^{-27}$ on every comparison). We release the code under AGPLv3.
한국어 요약
📋 한 줄 요약
**[교육/LLM 응용]** FERPA를 준수하는 온프레미스 LaTeX 자동 채점 시스템 LaTA를 제시하고, 오리건주립대 ME 373(약 200명) 한 학기 운영을 통해 0.02–0.04% 채점 오류율과 학생 시험 점수 8–11% 향상을 입증한다.
🎯 핵심 기여도
- 학생 자료를 외부 API로 보내지 않는 완전 온프레미스(open-weight gpt-oss:120b) FERPA 준수 자동 채점 시스템 LaTA 공개(AGPLv3)
- ingest → segment → grade → report 4단계 파이프라인으로 LaTeX 워크플로우에 드롭인 통합
- YAML 루브릭의 항목별 binary 채점으로 강사가 검증 가능한 평가 구조 도입
- 한 학기 운영 결과: 어시스턴트 1대로 과제 1건당 1–3분, 한계 비용 $0, 학생 시험 점수 +8–11% 향상
💡 핵심 아이디어
공대·물리 강의에서 이미 LaTeX 워크플로우가 보편적이므로, LaTeX 원문을 그대로 입력으로 받는 자동 채점기를 로컬에서 돌리면 FERPA 위험과 비용·과제 수정 부담을 동시에 없애면서 강사가 강력한 채점 일관성을 확보할 수 있다.
🔬 기술적 접근법
- **모델/방법론**: 로컬 호스팅된 chain-of-thought open-weight LLM(gpt-oss:120b) 채점기
- **핵심 기법**: Figure 1의 4단계 파이프라인 — Gradescope LaTeX export 수신 → 문제별 분할 → 강사 솔루션 + YAML 루브릭으로 항목별 binary 채점 → 보고서 생성. 단일 Mac Studio에서 운영
📊 주요 결과
- 한 학기 동안 항목당 채점 오류율 0.02–0.04% 유지
- 같은 강사의 전통적 채점 코호트 대비 중간고사 +11%, 기말 +8% 향상
- Figure 2·4의 학습 목표·LaTeX 워크플로우 항목에서 자기 평가 자신감 ΔLikert ≥ +1.49 (N=159, p<10^-27)
💭 의의 및 한계
**의의**: 규제(FERPA) 준수와 비용을 동시에 만족하는 실제 강의 운영형 LLM 채점기의 첫 대규모 사례 보고. **한계**: LaTeX 워크플로우와 강사 작성 솔루션·루브릭에 의존, 비-수치 인문계열로의 직접 일반화는 어렵다.
🚀 실용적 활용
- 공대·물리·수학 등 LaTeX 기반 상위 STEM 강의의 자동 채점
- 데이터 외부 반출이 금지된 의료·법학 교육 환경
- TA 부담 경감으로 더 많은 오피스 아워·재채점 기회 제공