CausalDS: Benchmarking Causal Reasoning in Data-Science Agents

Large language models (LLMs) increasingly act as integrated data-science agents, combining abstract reasoning with advanced tool use. Yet the relevant benchmark landscape largely divides into symbolic causal reasoning benchmarks without realistic data analysis or data analysis benchmarks without a principled causal data-generating structure. Furthermore, existing causal evaluation datasets are often restricted to curated examples from existing sources, with diversity coming from limited templatized variations rather than from systematic generation of novel synthetic causal structures. We introduce CausalDS, a benchmark for evaluating causal reasoning in agentic data-science workflows. Each benchmark instance is a scene consisting of a sampled structural causal model (SCM) with generated observational data and an accompanying synthetic natural-language story grounded in a realistic domain. We optionally ground the composition of the benchmark components in empirical distributions obtained from real-world datasets, thus retaining empirical structure while reducing the "causal parrot" risk through completely synthetic generation. From each scene, we then derive tasks spanning all three of Pearl's rungs, with typical data-science prediction tasks appearing as Rung 1. Most tasks include a data science coding component, where the model typically needs to use several tools to arrive at the final answer due to the frequent presence of imperfect observations, which are generated by an observation model. Additionally, recognizing when a question admits no warranted answer and abstaining is treated as a first-class scored outcome. The benchmark thus jointly evaluates symbolic causal reasoning, data science, uncertainty quantification, abstention, and tool use/coding.

한 줄 요약

CausalDS는 데이터 사이언스 에이전트의 인과 추론 능력을 종합적으로 평가하는 벤치마크로, 구조적 인과 모델(SCM)과 자연어 스토리, 관측 데이터를 결합한 시나리오를 제시한다.

핵심 기여도

CausalDS는 Pearl의 세 가지 인과 런그(Rung)를 아우르는 다차원 평가 벤치마크를 제시.
각 시나리오에서 SCM 기반의 관측 데이터와 자연어 스토리가 생성되며, 실제 데이터셋의 경험적 분포를 기반으로 구성 가능.
불완전한 관측 데이터를 생성하는 observation model을 도입, 코드 작성과 도구 사용을 요구하는 데이터 사이언스 작업을 포함.
Claude Opus 4.8은 가장 높은 정확도와 신뢰도를 보이며, 추정 오차와 중단 결정에서 우수한 성능을 나타냄.

핵심 아이디어

기존 인과 추론 벤치마크는 상징적 추론에 집중하거나, 실제 데이터 분석 구조를 갖추지 못한 경우가 많았다. CausalDS는 이 두 접근을 통합하여, 실제 데이터 분석 환경에서의 인과 추론 능력을 종합적으로 평가하는 새로운 프레임워크를 제시한다. 구조적 인과 모델(SCM)을 기반으로 생성된 시나리오에서, 모델은 자연어 스토리, 관측 데이터, 그리고 도구 사용을 통해 추론을 수행해야 한다. 특히, 관측 모델(observation model)을 통해 불완전한 데이터를 생성함으로써, 현실적인 데이터 분석 상황을 반영한다. 이는 단순한 상징적 추론을 넘어, 추정, 불확실성 평가, 중단 결정, 코드 작성 등 다차원적인 능력을 평가하는 데 기여한다.

기술적 접근법

**CausalDS 벤치마크**: 각 인스턴스는 SCM, 관측 데이터, 자연어 스토리로 구성된 "scene"으로, 실제 데이터셋의 경험적 분포를 기반으로 구성 가능.
**mini-swe-agent**: 모델이 bash 명령어를 통해 환경과 상호작용하는 가벼운 에이전트 허네스. Docker 컨테이너 내에서 실행되며, 표준 데이터 사이언스 스택 제공.
**observation model**: 불완전한 관측 데이터를 생성하여, 모델이 코드와 도구를 사용해 추론해야 함.
**scoring**: 각 작업은 독립적인 에이전트 대화로 실행되며, 정답 파일을 해석하여 비공개 정답과 비교. 효율성 지표(도구 호출 횟수, 토큰 사용량)도 기록.

주요 결과

**모델 성능**: Claude Opus 4.8은 가장 높은 정확도와 신뢰도를 보이며, 추정 오차와 중단 결정에서 우수한 성능.
**Gemma 4 26B**: 추정 정확도는 높으나, 중단 결정과 구간 추정에서 약한 성능.
**개별 모델 차이**: 개방형 모델은 3번의 시도를 통해 선도 모델 수준에 도달하지만, 일관성 부족.
**CausalDS 평가**: 각 모델이 추론, 추정, 불확실성, 중단, 도구 사용 등 다섯 축에서 다른 성능을 보임.

의의 및 한계

CausalDS는 기존 인과 추론 벤치마크와 데이터 사이언스 벤치마크의 한계를 극복하고, 실제 데이터 분석 환경에서의 종합적 인과 추론 능력을 평가할 수 있는 새로운 프레임워크를 제시한다. 특히, 관측 모델을 통해 불완전한 데이터를 생성함으로써, 현실적인 분석 상황을 반영하며, 도구 사용과 코드 작성 능력을 평가하는 점에서 차별화된다. 그러나, 벤치마크는 아직 제한된 수의 시나리오와 모델을 기반으로 하며, 더 다양한 상황과 모델 간 비교를 위해서는 확장이 필요하다. 또한, 모델이 단순히 기존 데이터를 암기하는 "인과 학舌" 현상을 방지하기 위해 완전히 합성된 데이터를 사용하지만, 이는 실제 데이터와의 차이를 반영할 수 있는 한계도 존재한다.

실용적 활용

CausalDS는 데이터 사이언스 에이전트의 인과 추론 능력을 평가하는 데 활용될 수 있으며, 의료, 금융, 사회과학 등 인과적 결론이 중요한 분야에서 모델의 신뢰도를 평가하는 데 유용하다. 또한, 모델 개발자들이 추론, 추정, 불확실성, 중단, 도구 사용 등 다차원적인 능력을 개선하는 데 사용할 수 있는 평가 기준을 제공한다.