AgenticDataBench: A Comprehensive Benchmark for Data Agents

Data science aims to derive actionable insights from heterogeneous raw data, unlocking the value of the massive amounts of data generated in modern society. Automating this process is essential to reducing labor-intensive efforts for data scientists and enabling scalable data-driven applications. Recently, large language model (LLM)-based data agents have emerged as a promising solution to automate data science workflows. However, the field lacks comprehensive benchmarks to rigorously evaluate these agents across diverse scenarios with fine-grained granularity. To address this gap, we propose AgenticDataBench, a comprehensive benchmark featuring realistic tasks spanning diverse domains with fine-grained ground-truth labels. This enables evaluations to capture the diversity and complexity of data science workflows and the detailed performance of agents. First, to cover diverse domains, we collect real datasets and tasks from 15 vertical domains, including 5 real-world B2B use cases from a leading fintech company. Second, to remove redundancy in real-world tasks and generate high-quality tasks for domains lacking real data, we introduce data science skills, recurring data-centric operational patterns, and quantify benchmark coverage by the number of skills included. Representative skills are extracted from large-scale task solutions on Stack Overflow using skill-aligned hierarchical clustering. Third, for real-world business tasks, we select task-solution pairs that maximize diversity in skill composition, ensuring broad coverage of practical scenarios. Fourth, to generate realistic tasks for devise domains without real tasks, we propose a systematic LLM-based task generation approach to create workflows and tasks based on these skills. Finally, we evaluate state-of-the-art data agents using our annotated benchmark and open-sourced testbed, providing detailed skill-level insights.

한 줄 요약

AgenticDataBench는 데이터 에이전트를 평가하기 위한 종합 벤치마크로, 다양한 도메인과 세부 기술 수준에서 평가를 가능하게 한다.

핵심 기여도

15개의 수직 도메인과 5개의 실제 B2B 금융 기술 사용 사례를 포함한 실제 데이터셋과 작업을 수집.
스킬 기반 계층적 클러스터링을 사용해 Stack Overflow에서 대표적인 데이터 과학 기술을 추출.
실제 작업이 없는 도메인에 대해 LLM 기반 시스템적 작업 생성 방법을 제안.
개방형 테스트베드를 통해 최신 데이터 에이전트를 평가하고 기술 수준의 세부 정보를 제공.

핵심 아이디어

AgenticDataBench는 데이터 과학 작업의 다양성과 복잡성을 정확히 평가하기 위해 설계되었다. 기존 연구는 데이터 에이전트의 성능을 종합적으로 평가할 수 있는 벤치마크가 부족한 상황에서, 이 연구는 실제 작업과 생성된 작업을 결합하여 평가 범위를 확장한다. 핵심 아이디어는 데이터 과학 작업을 구성하는 반복적이고 중심적인 "스킬"을 추출하고, 이를 기반으로 작업을 생성 및 평가하는 것이다. Stack Overflow에서 추출한 대규모 작업 솔루션을 기반으로 기술 클러스터링을 수행하여, 실제 작업과 생성된 작업 모두에서 일관된 평가 기준을 제공한다.

기술적 접근법

15개 수직 도메인과 5개 실제 B2B 금융 기술 사용 사례를 포함한 실제 데이터셋을 수집.
스킬 기반 계층적 클러스터링을 사용해 Stack Overflow의 대규모 작업 솔루션에서 대표적인 데이터 과학 기술을 추출.
실제 작업이 없는 도메인에 대해 LLM 기반 작업 생성 방법을 제안하여, 작업 흐름과 작업을 생성.
작업 생성과 평가를 위한 테스트베드를 개방 소스로 제공.

주요 결과

AgenticDataBench는 실제 작업과 생성된 작업을 결합하여 데이터 에이전트의 세부 성능을 평가.
기술 수준에서의 평가를 통해 데이터 에이전트의 강점과 약점을 식별 가능.
실제 금융 기술 사용 사례를 포함한 15개 도메인에서 평가 범위 확장.

의의 및 한계

AgenticDataBench는 데이터 에이전트의 성능을 세부 기술 수준에서 평가할 수 있는 체계적인 프레임워크를 제공하여, 데이터 과학 자동화 연구의 발전에 기여한다. 특히, 실제 작업과 생성된 작업을 결합한 방식은 평가의 현실성과 범용성을 높인다. 그러나 일부 도메인에서는 실제 작업이 부족하여 생성된 작업에 의존해야 하므로, 생성된 작업의 질에 따라 평가 결과가 영향을 받을 수 있다.

실용적 활용

AgenticDataBench는 데이터 과학 자동화를 연구하는 학계와 산업 현장에서 데이터 에이전트의 성능을 체계적으로 평가하는 데 활용될 수 있다. 특히 금융, 제조, 의료 등 다양한 수직 도메인에서의 실제 사용 사례를 반영하여, 실제 업무 환경에 가까운 평가가 가능하다.