llm-evaluation ontology-grounded hierarchical-evaluation genre-hierarchy inter-rater-agreement text-generation-evaluation cultural-representation philosophical-depth
Abstract
Evaluating literary quality requires assessing interpretive dimensions such as cultural representation, emotional depth, and philosophical sophistication that resist straightforward computational measurement. We introduce SAGE, a hierarchical evaluation framework that decomposes literary quality into ontology-grounded interpretive dimensions assessed through structured large language model evaluation with multi-round iterative reflection and independent validation. We validate the framework on 100 short stories (50 canonical works, 30 pulp fiction, 20 LLM-generated narratives) across three analytical layers (cultural, emotional-psychological, existential-philosophical) using dual-mode assessment. Across 600 evaluations, the framework achieves 98.8% score convergence and greater than 94% inter-rater agreement, with near-perfect mode invariance between content-based and metadata-based evaluation. Statistical analysis reveals a consistent genre hierarchy (Canonical > Pulp > LLM, all p<0.001) with layer-specific discrimination: cultural critique and philosophical depth exhibit very large effect sizes (Cohen's d>2.4), while emotional representation shows smaller gaps (d=1.68), suggesting that affective patterns are more learnable from training data than critical stance or philosophical depth. Cross-layer correlations (r=0.649-0.683) confirm the three dimensions capture empirically distinguishable quality facets. These findings demonstrate that theory-driven LLM evaluation can achieve measurement-grade reliability and support systematic identification of where current generative models fall short of human literary production, with direct implications for scalable automated evaluation of open-ended text generation.
한국어 요약
📋 한 줄 요약
**[LLM 평가/NLP]** 문학 작품의 질적 평가를 온톨로지 기반 해석적 차원으로 분해해 LLM이 측정 수준의 신뢰도로 평가하도록 만든 계층적 프레임워크 SAGE를 제안.
🎯 핵심 기여도
- 문화·정서심리·실존철학 3개 분석 층으로 구성된 온톨로지 기반 평가 체계 설계
- 다회 반복적 reflection과 독립 검증을 결합한 구조적 LLM 평가 파이프라인 구축
- 600회 평가에서 98.8% 점수 수렴, 94% 이상 평가자 간 일치도 달성
- 정전(canonical)·펄프 픽션·LLM 생성물 사이 일관된 품질 위계(p<0.001) 실증
💡 핵심 아이디어
"문학의 질"처럼 수치화가 어려운 해석적 개념도, 평가를 충분히 잘 정의된 하위 차원들로 계층화하고 LLM에게 구조화된 채점 절차를 강제하면, 인간 평가자 수준의 신뢰도로 측정 가능하다는 것이 핵심 가설이다.
🔬 기술적 접근법
- **모델/방법론**: SAGE — 문학 품질을 (1) 문화 표현, (2) 정서·심리 깊이, (3) 실존·철학적 정교성의 3계층으로 분해
- **핵심 기법**: 온톨로지 기반 차원 정의 + 다회 iterative reflection + 콘텐츠 기반/메타데이터 기반 이중 모드 평가 + 독립 검증으로 평가 분산 축소
- 100편(정전 50, 펄프 30, LLM 생성 20)에 대해 600회 평가 수행
📊 주요 결과
- 점수 수렴률 98.8%, 평가자 간 일치도 >94%, 콘텐츠/메타데이터 모드 거의 완전 불변(invariance)
- 장르 위계: Canonical > Pulp > LLM (모든 비교에서 p<0.001)
- 문화 비평·철학적 깊이는 매우 큰 효과 크기(Cohen's d>2.4), 정서 표현은 더 작은 격차(d=1.68) — 정서 패턴이 학습 데이터로부터 더 모방하기 쉬움을 시사
- 층 간 상관 r=0.649–0.683 — 3개 차원이 경험적으로 구분되는 품질 측면
💭 의의 및 한계
**의의**: 개방형 텍스트 생성에 대한 자동 평가의 새로운 기준선을 제시하며, LLM이 어디서 인간 문학 생산에 미달하는지를 체계적으로 식별 가능하게 한다. **한계**: 100편이라는 표본 규모와 영어권 단편 위주 평가가 일반화 가능성을 제약하고, 평가자로 사용된 LLM 자체의 편향이 일부 결과에 잔존할 수 있다.
🚀 실용적 활용
- 창작 LLM의 학습/평가 루프에서 보상 모델 또는 검증자로 활용
- 출판사·교육기관의 대규모 텍스트 큐레이션 자동화
- 생성 AI가 부족한 영역(비판적 입장, 철학적 깊이)에 대한 데이터 큐레이션 가이드 제공