The Annotation Scarcity Paradox in Low-Resource NLP Evaluation: A Decade of Acceleration and Emerging Constraints

Over the past decade, low-resource natural language processing (NLP) has experienced explosive growth, propelled by cross-lingual transfer, massively multilingual models, and the rapid proliferation of benchmarks. Yet this apparent progress masks a critical, insufficiently examined tension: the deep sociolinguistic expertise required to evaluate increasingly complex generative systems is severely strained, inequitably distributed, and structurally marginalised. We present a critical narrative survey of low-resource NLP evaluation (2014--present), tracing its evolution across three phases: early heuristic optimism, the illusions of top-down benchmark scaling, and the current era of generative bottlenecks. We conceptualise the \emph{Annotation Scarcity Paradox}, the structural friction arising when the technical capacity to scale models vastly outpaces the sovereign human infrastructure required to authentically evaluate them. By examining extractive data pipelines, undercompensated ``ghost work'', and language data flaring, we argue that this paradox threatens the epistemic validity of reported progress. We survey emerging responses -- including data augmentation, model-based evaluation, participatory curation, and annotation-efficient approaches via item response theory and active learning -- and assess their equity and validity trade-offs. We close with a practitioner call to action, arguing that overcoming this bottleneck requires a paradigm shift from transactional data extraction to relational, community-embedded evaluation rooted in epistemic governance, data sovereignty, and shared ownership.

📋 한 줄 요약

**[저자원 NLP 평가 / 비판적 서베이]** 저자원 NLP 평가의 10년을 추적하며 모델 확장이 인간 평가 인프라를 능가하는 "주석 희소성 역설"을 정식화.

🎯 핵심 기여도

지난 10년간 cross-lingual transfer·다국어 모델·벤치마크 확산으로 저자원 NLP가 폭발적으로 성장했지만, 생성 시스템 평가에 요구되는 사회언어학 전문성이 구조적으로 부족·불평등 분포되어 있음을 진단.
평가의 진화를 3단계로 추적: 초기 휴리스틱 낙관주의 → top-down 벤치마크 확장의 환상 → 현재의 생성 병목 시대.
Annotation Scarcity Paradox 개념화: 모델 확장의 기술적 역량이 진정한 평가에 필요한 주권적 인간 인프라를 크게 앞지를 때 발생하는 구조적 마찰.
추출적 데이터 파이프라인, 저보상 ghost work, language data flaring 등을 검토하며 보고된 진보의 epistemic validity가 위협받음을 주장.

💡 핵심 아이디어

저자원 NLP의 진보는 모델 능력이 아니라 평가 인프라의 한계에 의해 결정되며, 이는 단순 자원 부족이 아니라 데이터 추출 관행·노동 불평등·인식적 정당성이라는 구조적 문제다.

🔬 기술적 접근법

**모델/방법론**: 비판적 서사 서베이(2014–현재)와 개념화.
**핵심 기법**: 평가 진화의 3단계 분류, Annotation Scarcity Paradox 개념화, 추출적 데이터 파이프라인·ghost work·language data flaring 사례 분석, 데이터 증강·모델 기반 평가·참여적 큐레이션·item response theory·active learning 등 대응책 검토.

📊 주요 결과

저자원 NLP 평가의 3단계 역사적 진화 정립.
Annotation Scarcity Paradox라는 새 분석 프레임워크 제안.
신흥 대응책들의 형평성·정당성 trade-off 평가.
거래적 데이터 추출에서 관계적·공동체 임베디드 평가로의 패러다임 전환 호소.

💭 의의 및 한계

**의의**: 저자원 NLP 평가 논의를 기술 문제에서 윤리·거버넌스·데이터 주권 문제로 확장하는 비판적 토대 제공. **한계**: 서베이 성격으로 정량적 베이스라인 비교보다 비판적 분석에 무게, 제시된 paradigm shift의 실증은 후속 과제.

🚀 실용적 활용

저자원 NLP 프로젝트의 윤리·데이터 거버넌스 가이드.
참여적 데이터 큐레이션 워크플로 설계.
AI 평가 정책의 epistemic governance 토대.