CausaLab: A Scalable Environment for Interactive Causal Discovery Toward AI Scientists

We introduce CausaLab, a scalable environment for evaluating interactive causal discovery by LLM agents. Unlike prior evaluations, CausaLab evaluates both whether an agent can solve a problem using causal evidence and whether its answer is grounded in a faithful recovered causal mechanism. Each episode places an agent in a synthetic laboratory: it receives prior measurement records, intervenes on a manipulator crystal, and predicts the resonance frequency of a held-out reactor crystal governed by the same mechanism. The hidden data-generating process is a randomly sampled structural causal model (SCM), so success requires recovering both a causal graph and structural equations rather than recalling prior knowledge. Experiments show a persistent gap between prediction and mechanism recovery: in the purely observational 6-node setting, GPT-5.2-high reaches 92% task accuracy but only 0.471 all-edge F_1. Mixed observation-intervention strategies improve structural fidelity, while pure intervention remains difficult even for strong agents. We identify premature stopping as a major weakness and show that consistency verification mitigates it. CausaLab therefore separates predictive success from causal understanding and exposes current LLM agents' limits as experimental causal reasoners.

📋 한 줄 요약

**[Causal Discovery / LLM Agent]** CausaLab이 hidden SCM이 지배하는 합성 lab에 LLM agent를 배치해 예측·메커니즘 회복 양면 평가 — GPT-5.2-high가 6-node 관측만에서 task 92%·all-edge F1 0.471로 큰 gap, premature stopping이 주 약점.

🎯 핵심 기여도

CausaLab 도입 — LLM agent의 interactive causal discovery 평가하는 scalable 환경, agent가 causal evidence로 문제를 풀 수 있는지와 답이 faithful recovered causal mechanism에 grounded 되었는지 양쪽 평가.
각 episode가 agent를 합성 lab에 배치 — prior measurement record 수신, manipulator crystal에 intervene, 동일 메커니즘 지배하는 held-out reactor crystal의 resonance frequency 예측.
Hidden data-generating process가 randomly sampled SCM이므로 prior knowledge 회상이 아닌 causal graph·structural equation 회복 요구.
실험: 예측과 메커니즘 회복 사이 persistent gap — pure observational 6-node setting에서 GPT-5.2-high는 task accuracy 92% 도달하지만 all-edge F1은 0.471. Mixed observation-intervention 전략이 structural fidelity 개선, pure intervention은 강한 agent에도 어려움. Premature stopping이 major weakness로 식별, consistency verification으로 mitigate.

💡 핵심 아이디어

LLM agent의 causal discovery 평가는 정답 예측만이 아니라 faithful causal mechanism 회복 여부도 함께 측정해야 하며, 합성 SCM 기반 lab 환경에서 두 지표를 분리 평가하면 LLM agent가 experimental causal reasoner로서 가진 한계가 드러난다.

🔬 기술적 접근법

**방법론**: CausaLab — 합성 SCM 기반 interactive causal discovery 환경.
**핵심 기법**: (1) Hidden randomly sampled SCM이 data-generating process, (2) Agent가 prior measurement record 수신, manipulator crystal에 intervene, (3) Held-out reactor crystal의 resonance frequency 예측, (4) Causal graph + structural equation 회복 필요, (5) Observational·intervention·mixed 전략 비교, premature stopping 분석·consistency verification으로 완화.

📊 주요 결과

6-node observational setting: GPT-5.2-high task accuracy 92%, all-edge F1 0.471 — 예측·메커니즘 회복 큰 gap.
Mixed observation-intervention 전략이 structural fidelity 개선.
Pure intervention은 강한 agent에도 어려움.
Premature stopping이 major weakness, consistency verification으로 mitigate.

💭 의의 및 한계

**의의**: LLM agent의 causal reasoning을 단순 정답에서 mechanism 회복으로 확장, predictive success ≠ causal understanding의 gap 정량 노출, premature stopping 등 구체적 실패 mode 진단, scalable 환경으로 agent 발전 추적 가능. **한계**: 합성 SCM 환경과 실세계 causal discovery의 격차, 6-node 중심 결과로 scaling 추가 검증, crystal·resonance 시나리오의 도메인 특화.

🚀 실용적 활용

LLM agent 평가의 causal reasoning 표준.
AI scientist agent의 mechanism 회복 능력 진단.
Interactive causal discovery 알고리즘 벤치마크.