PaliBench: A Multi-Reference Blueprint for Classical Language Translation Benchmarks

Digital humanities projects increasingly rely on machine translation and large language models to widen access to classical, religious, and otherwise under-translated textual traditions. Yet standard translation benchmarks are poorly suited to such materials: they typically compare a system output against a single reference translation, even though classical texts often support multiple faithful renderings that differ in terminology, register, and interpretation. This article introduces PaliBench, both a benchmark for Pali-to-English translation and a reusable method for constructing multi-reference translation benchmarks for classical languages. The Pali case study draws on passages from the Sutta Pitaka aligned with independent English translations by Bhikkhu Sujato, Bhikkhu Thanissaro, and Bhikkhu Bodhi. The workflow combines LLM-assisted alignment of independently segmented translations, automated verification against source files, passage-level quality filtering, deduplication of formulaic repetitions, and multi-metric evaluation against multiple human references. The resulting benchmark contains 1,700 passages spanning 8,389 segments and approximately 345,000 tokens. We use it to evaluate ten contemporary large language models with complementary metrics, finding strong cross-metric concordance in system rankings alongside substantial variation in reliability and semantic outlier rates. The broader contribution is methodological: PaliBench shows how existing scholarly translations can be transformed into evaluation infrastructure for interpretive textual traditions without treating any single translation as definitive. Although developed for Pali Buddhist texts, the approach could be portable to other classical corpora where sufficient independent reference translations exist.

📋 한 줄 요약

**[디지털 인문학 / 번역 평가]** 고전어 번역의 "단일 정답" 가정을 깨고, 여러 학술 번역을 활용한 다중 참조 평가 벤치마크 PaliBench를 구축하는 재사용 가능한 방법론을 제시했다.

🎯 핵심 기여도

Pali어→영어 번역 평가용 다중 참조 벤치마크 PaliBench 공개
고전어 코퍼스 일반에 적용 가능한 multi-reference 벤치마크 구축 방법론 정립
LLM 보조 정렬, 자동 검증, 통과 단위 품질 필터링, 정형구 중복 제거, 다중 지표 평가의 워크플로 체계화
10개 대형 언어 모델을 복수 지표로 비교하고 시스템 랭킹의 cross-metric 일관성 분석

💡 핵심 아이디어

표준 번역 벤치마크는 단일 참조 번역과 비교한다. 그러나 고전·종교 텍스트는 용어·레지스터·해석 차이로 인해 여러 충실한 번역이 공존한다. 어느 번역도 "정답"으로 특권화하지 않으면서, 독립적으로 만들어진 학술 번역들을 정렬·검증·필터링해 공동 참조로 재사용하면 해석적 텍스트 전통에도 의미 있는 평가 인프라를 만들 수 있다.

🔬 기술적 접근법

케이스 스터디: Sutta Pitaka 구절을 Bhikkhu Sujato, Bhikkhu Thanissaro, Bhikkhu Bodhi 세 번역과 정렬
LLM 보조로 독립적으로 분절된 번역들을 정렬
원문에 대한 자동 검증, 통과 단위 품질 필터링, 정형 반복 구절 중복 제거
다중 인간 참조에 대한 다중 메트릭 평가

📊 주요 결과

벤치마크 규모: 1,700 passages, 8,389 segments, 약 345,000 tokens
10개 현대 LLM을 보완적 지표들로 평가
시스템 랭킹의 cross-metric 일치도가 강함을 확인
동시에 모델 간 신뢰도·semantic outlier rate에서는 상당한 차이 관찰

💭 의의 및 한계

"존재하는 학술 번역을 평가 인프라로 변환"하는 방법론으로 디지털 인문학 평가의 본질적 한계(단일 정답)에 정면으로 대응한 점이 가치 있다. 다만 충분히 독립적인 학술 번역이 여러 개 존재하는 코퍼스에만 직접 적용 가능하다는 본질적 전제가 있으며, Pali 외 언어 적용은 향후 과제다.

🚀 실용적 활용

산스크리트, 고전 한문, 고대 그리스어/라틴어, 히브리어 성서 등 독립적 번역 전통이 풍부한 고전 코퍼스의 번역 모델 평가, 디지털 인문학 프로젝트의 LLM 도구 선택, 종교/철학 텍스트의 기계 번역 품질 모니터링 등에 활용 가능하다.