DataPrep-Bench: Benchmarking LLMs as Training Data Preparators

The quality of training data fundamentally determines the capabilities of large language models (LLMs), yet no unified benchmark exists to measure how well LLMs, agents, and data-centric workflows actually prepare training data end to end. We view LLM-driven data preparation as comprising two complementary capabilities: data construction, which transforms raw sources into supervised training data, and data quality evaluation, which predicts the training value of candidate datasets before downstream training; throughout, "quality" refers to downstream training utility rather than surface-level textual properties. We introduce DataPrep-Bench, the first unified benchmark that jointly evaluates both capabilities under a shared downstream-grounded protocol over six domains and multiple base models. For data construction, methods consume identical raw sources and are scored by fine-tuning a base model on their outputs jointly with Dolly-15k; alongside this track we release Data-Construction-Skill, a skill-guided agent that lifts the Dolly-only baseline by nearly 20 points absolute on Llama-3.1-8B Finance and is competitive with the strongest agent- and DataFlow-based methods in knowledge-extraction-dense domains. For data quality evaluation, scoring functions are scored by Pearson correlation with downstream performance on a shared candidate pool; we release the Distributional Alignment Score (DAS), a distribution-based evaluator that uses MMD between a candidate dataset and a domain proxy. DAS attains the strongest cross-model correlation in four of six domains and is the only metric clearing r > 0.70 simultaneously in Math, Science, and Medical, outperforming existing quality-, diversity-, and heuristic-based evaluators. DataPrep-Bench provides a unified, downstream-grounded framework for measuring progress on both capabilities as co-equal targets of LLM-driven data preparation.

한 줄 요약

DataPrep-Bench는 LLM 기반 학습 데이터 준비의 두 핵심 능력(데이터 생성 및 품질 평가)을 통합 평가하는 첫 번째 벤치마크이다.

핵심 기여도

DataPrep-Bench: 6개 도메인과 다중 베이스 모델에서 데이터 생성과 품질 평가를 동시에 평가하는 통합 벤치마크를 제안.
Data-Construction-Skill: Dolly-15k 기반 베이스라인 대비 Llama-3.1-8B Finance에서 약 20점 절대 성능 향상.
Distributional Alignment Score (DAS): Math, Science, Medical 도메인에서 r > 0.70의 강력한 상관성을 달성.
첫 번째로 데이터 생성과 품질 평가를 동일한 프로토콜로 평가하는 실험 프레임워크 제공.

핵심 아이디어

LLM 기반 학습 데이터 준비는 두 가지 핵심 능력, 즉 **데이터 생성**과 **데이터 품질 평가**로 구성된다. 기존 연구는 이 두 능력을 별도로 평가하거나, 서로 다른 데이터, 모델, 평가 기준을 사용하여 비교가 어려웠다. DataPrep-Bench는 이 두 능력을 **동일한 원천 데이터, 베이스 모델, 학습 프로토콜, 평가 기준** 하에서 평가함으로써 공정한 비교를 가능하게 한다.

**데이터 생성**의 경우, Data-Construction-Skill이라는 **스킬 가이드형 에이전트**를 도입하여, 원천 도메인 서적을 QA 형식의 학습 데이터로 변환한다. 이 에이전트는 **Chunking**, **필터링**, **QA 생성**, **후처리** 단계를 포함하며, QA 유형은 개념 중심, 추론 중심, 사례 중심으로 구분된다.

**데이터 품질 평가**는 MMD 기반의 **Distributional Alignment Score (DAS)**를 제안하여, 후보 데이터셋과 도메인 프록시 간의 분포 차이를 측정함으로써 학습 효율성을 예측한다. 이는 기존의 품질, 다양성, 휴리스틱 기반 평가법을 초과하는 성능을 보인다.

기술적 접근법

**데이터 생성 트랙**: Data-Construction-Skill 에이전트는 원천 도메인 서적을 세미antically 분할한 뒤, QA 쌍을 생성한다. QA 유형은 개념, 추론, 사례로 나뉘며, 각각 QA 쌍을 생성한다.
**Chunking**: 도메인 서적을 의미 단위로 분할.
**QA 생성**: QA 쌍은 QA 형식의 instruction-response로 생성되며, 중복, hallucination, 문서 의존 질문은 필터링된다.
**후처리**: 문서 참조, 중복, 약한 지지 샘플 제거.
**데이터 품질 평가 트랙**: DAS는 MMD를 사용하여 후보 데이터셋과 도메인 프록시 간의 분포 차이를 측정.
**평가 지표**: Pearson 상관계수로 평가, r > 0.70 기준으로 Math, Science, Medical 도메인에서 가장 높은 성능.

주요 결과

**데이터 생성 트랙**: Data-Construction-Skill은 Llama-3.1-8B Finance에서 Dolly-15k 기반 베이스라인 대비 약 20점 절대 성능 향상.
**데이터 품질 평가 트랙**: DAS는 Math, Science, Medical 도메인에서 r > 0.70의 강력한 상관성을 달성하며, 기존 평가 지표를 상회.
**도메인별 성능**: DataFlow-Skill은 Finance, Law에서 우수, Agent-based는 Math, Medical에서 우수.
**합성 데이터 추가 효과**: Dolly-15k에 합성 도메인 데이터를 추가하면 종종 성능 저하 발생.

의의 및 한계

DataPrep-Bench는 LLM 기반 데이터 준비의 두 핵심 능력을 **동일한 프로토콜** 하에 평가함으로써, 연구자들이 데이터 생성 전략과 평가 지표를 공정하게 비교할 수 있는 기반을 제공한다. 특히, 합성 데이터가 항상 유용하지 않다는 사실을 밝혀내며, 데이터 생성 기법 개선의 필요성을 강조한다.

한편, 일부 도메인(예: Finance, Law)에서는 DAS조차도 높은 상관성을 유지하기 어려운 것으로 나타나, 품질 평가 지표의 한계도 드러난다. 또한, Data-Construction-Skill은 특정 도메인(예: Science, Law)에서는 여전히 개선이 필요한 것으로 보인다.

실용적 활용

DataPrep-Bench는 학습 데이터 생성 및 평가 기법을 개선하려는 연구자들에게 **표준화된 평가 프레임워크**를 제공한다. 특히, 합성 데이터 생성, 데이터 품질 예측, LLM 기반 에이전트 개발 등에 활용 가능하다. 산업적으로는, 도메인 맞춤형 LLM 학습 데이터셋을 효율적으로 준비하고 평가하는 데 유용할 수 있다.