DataSpace: Benchmarking Data Agents for Verifiable Analytics over Heterogeneous Workspaces

Data agents enable natural-language analytics over organizational workspaces, where relevant evidence may be scattered across databases, structured files, long documents, and multimedia. Existing benchmarks largely isolate structured querying, retrieval, or open-ended analysis, leaving heterogeneous evidence discovery, complete tabular outputs, and deterministic evaluation insufficiently unified. We introduce DataSpace, a benchmark in which data agents produce verifiable tabular results from task-local heterogeneous workspaces. It contains 410 cross-language tasks and 7,439 artifacts totaling 15.01 GB across CSV, JSON, SQLite, Markdown, PDF, and video. DataSpace also served as the official evaluation benchmark for the KDD Cup 2026 Data Agents for Complex Data Analysis competition. Each agent receives only a question and workspace and returns the complete requested tabular result. We construct DataSpace with DataSpace-Builder, an execution-grounded framework comprising cross-language transformation, constraint-aware relational sampling, modality routing and artifact rendering, and human review and task repair by 11 domain experts. A deterministic evaluator performs header-invariant column alignment, type- and precision-aware normalization, and order-aware row comparison. Across six recently released frontier multimodal models and five widely used agent harnesses, the best accuracy reaches 66.34%, while harness choice creates a 15.36-point spread with the backbone fixed. Multimodal evidence integration and joins consistently reduce accuracy across all six backbones. These results show that DataSpace remains unsaturated and identify key challenges for improving data-agent reliability.

한 줄 요약

DataSpace는 410개의 다국어 작업 공간을 기반으로, 데이터 에이전트의 정확한 테이블 결과 생성 능력을 평가하는 벤치마크로, 최고 정확도는 66.34%에 달한다.

핵심 기여도

DataSpace: 410개의 다국어 작업 공간, 7,439개의 아티팩트(15.01GB)를 포함한 벤치마크.
DataSpace-Builder: 실행 기반의 4단계 프레임워크(다국어 변환, 제약 인식 관계 샘플링, 모달 라우팅 및 아티팩트 렌더링, 인간 검토 및 작업 복구).
의미 인식 평가기: 헤더 불변 컬럼 정렬, 정규화, 행 비교를 포함한 결정적 평가.
6개의 최신 멀티모달 모델과 5개의 에이전트 허네스스를 기반으로 한 실험: 최고 정확도 66.34%, 허네스스 선택에 따른 15.36%의 성능 차이.

핵심 아이디어

DataSpace는 데이터 에이전트가 자연어 질문에 대해, 다양한 형식(예: CSV, PDF, 비디오)의 작업 공간에서 정확한 테이블 결과를 생성할 수 있는 능력을 평가하기 위한 벤치마크이다. 기존 벤치마크는 구조화된 쿼리, 검색, 또는 개방형 분석을 분리해 평가했지만, DataSpace는 이들을 통합하여 **완전한 테이블 결과**를 요구하며, **결정적 평가**를 통해 정확도를 측정한다. 핵심 아이디어는 **작업 공간 내 다중 모달 아티팩트의 통합 분석**과 **의미 기반 정규화 및 정렬**을 통해 실제 분석 환경을 반영하는 것이다. DataSpace-Builder는 EHRSQL과 BULL의 실행 가능한 SQL을 기반으로 작업 공간을 생성하며, 4단계 프로세스를 통해 데이터 변환, 샘플링, 렌더링, 검토를 수행한다.

기술적 접근법

**DataSpace-Builder**: 4단계 프레임워크로 구성됨.
Cross-Language Transformation: 다국어 질문 및 데이터 생성.
Constraint-Aware Relational Sampling: 제약 조건을 고려한 관계 샘플링.
Modality Routing & Artifact Rendering: 다양한 형식(예: CSV, PDF, 비디오)의 아티팩트 렌더링.
Human Review & Task Repair: 11명의 전문가가 작업 검토 및 수정.
**평가 프로토콜**:
Header-invariant column alignment: 헤더 순서와 상관없이 컬럼 정렬.
Type- and precision-aware normalization: 숫자, 날짜, 부울 등 의미 기반 정규화.
Order-aware row comparison: 행 순서가 중요한 경우 순서 비교.
**모델 및 허네스스**: 6개의 최신 멀티모달 모델과 5개의 에이전트 허네스스를 사용.

주요 결과

**DataSpace**: 410개의 다국어 작업 공간, 7,439개의 아티팩트(15.01GB)를 포함.
**정확도**: 6개의 최신 멀티모달 모델과 5개의 허네스스를 기반으로 실험한 결과, 최고 정확도는 66.34%.
**허네스스 영향**: 동일한 백본 모델을 사용하더라도 허네스스 선택에 따라 최대 15.36%의 성능 차이 발생.
**멀티모달 통합**: 멀티모달 증거 통합 및 조인 작업은 모든 백본에서 정확도를 일관되게 감소시킴.

의의 및 한계

DataSpace는 실제 분석 환경을 반영한 **다양한 형식의 데이터 통합**과 **결정적 평가**를 통해 데이터 에이전트의 신뢰성을 평가하는 데 중요한 기여를 한다. 특히, **다국어 작업 공간**, **완전한 테이블 결과**, **의미 기반 정규화**는 기존 벤치마크에서 부족했던 핵심 요소를 보완한다. 그러나, **멀티모달 증거 통합**과 **조인 작업**은 여전히 성능 저하의 주요 원인으로, 데이터 에이전트의 신뢰성 향상을 위한 핵심 과제로 남는다. 또한, **작업 복잡도**가 높아지면 정확도가 급격히 감소하는 경향이 있어, 복잡한 작업을 처리하는 능력 향상이 필요하다.

실용적 활용

DataSpace는 **데이터 분석**, **비즈니스 인텔리전스**, **의료 및 금융 분석** 등 다양한 산업에서 데이터 에이전트의 신뢰성과 정확도를 평가하는 데 활용될 수 있다. 특히, **다양한 데이터 형식**(CSV, PDF, 비디오)을 처리하는 능력을 요구하는 분석 시스템 개발에 적합하며, **자연어 질문 처리**와 **결정적 평가 기반의 성능 측정**이 필요한 연구 분야에서도 유용하다.