Temporal Causal Prior-Data Fitted Networks for Panel Data with Learned Reliability Signals

Estimating causal effects in industrial time series requires handling temporal dynamics, time-varying treatments, and unobserved confounders. Existing causal foundation models (CausalPFN, CausalFM) operate only on static cross-sectional data; neural temporal methods (CRN, G-Net) require per-dataset training; and concurrent temporal-PFN proposals have not been demonstrated at industrial scale. None output explicit per-pair reliability signals alongside their CATE estimates. We introduce Temporal Causal Prior-Data Fitted Networks (TCPFN), a foundation model for zero-shot temporal causal discovery with learned reliability signals. TCPFN makes four contributions: (1) a Causal Judgment Head that jointly predicts null-effect probability, confounding strength, identifiability, mediation fraction, and causal regime; (2) a mixed training prior covering six causal regimes (independent, direct, confounded, mediated, time-varying confounded, feedback) plus CausalFM-style front-door and instrumental-variable priors; (3) a discrete-token panel-data architecture with cross-attention masking that prevents inter-horizon leakage; (4) zero-shot inference at industrial scale via FAISS-based context selection and one-step posterior correction. On 19 benchmark datasets across five domains, TCPFN achieves competitive zero-shot causal discovery: AUROC 0.96 on Tennessee Eastman, 0.93 on SWaT, 0.98 on Causal Rivers, 0.97 on CAUSRCA. The null detector reaches NullF1 0.94, AUROC 0.99. TCPFN scales to V=1,275 on a proprietary Kraft pulp-and-paper dataset in 6 hours on a single GPU; PCMCI, a CPU-only library, on a V=666 sub-panel of the same data took 81.5 hours, extrapolating by O(V^2) to ~12.5 days at V=1,275. TCPFN's top edges identify cross-subsystem causal relationships while PCMCI's surface within-instrument controller-measurement coupling -- a scalability case study.

한 줄 요약

TCPFN은 시간 시계열 패널 데이터에서 제로샷 인과 추론과 신뢰도 신호를 동시에 제공하는 기초 모델이다.

핵심 기여도

Causal Judgment Head 모듈을 도입하여 null-effect 확률, confounding 강도, identifiability, mediation 비율, causal regime를 동시에 예측.
6가지 causal regime (direct, confounded, mediated, feedback 등)과 CausalFM-style prior를 결합한 mixed prior를 사용.
discrete-token panel-data 아키텍처로 cross-attention masking을 통해 inter-horizon 정보 유출 방지.
FAISS 기반 context selection과 one-step posterior correction을 통해 제로샷 추론을 산업 규모로 확장 (V=1,275, 6시간/1 GPU).

핵심 아이디어

TCPFN은 기존 인과 추론 모델이 시간 동역학, 시간 변화 조치, 미관측 confounder를 처리하지 못하는 문제를 해결하기 위해 제안되었다. 기존 CausalPFN, CausalFM은 정적 데이터에만 적용 가능하고, CRN, G-Net은 데이터셋별 학습이 필요하며, 시간-인과 기초 모델은 산업 규모에서 검증되지 않았다. TCPFN은 제로샷 인과 추론을 가능하게 하며, null-effect 확률, identifiability, mediation 등 신뢰도 신호를 함께 제공하는 것이 핵심이다. Causal Judgment Head는 CATE 추정과 병행하여 신뢰도를 학습하며, mixed prior는 다양한 인과 구조를 학습에 반영한다. discrete-token 아키텍처는 패널 데이터를 토큰화하여 cross-attention으로 인과 관계를 추출하고, 정보 유출을 방지한다.

기술적 접근법

**Causal Judgment Head**: null-effect 확률, confounding 강도, identifiability, mediation 비율, causal regime를 예측하는 모듈.
**Mixed Prior**: 6가지 causal regime (independent, direct, confounded, mediated, time-varying confounded, feedback)과 front-door, instrumental-variable prior를 결합.
**Discrete-token panel-data 아키텍처**: (unit, timestep)을 토큰으로 인코딩 (relative time, phase indicator, elapsed time), cross-attention만 사용하여 inter-horizon leakage 방지.
**Zero-shot 추론**: FAISS 기반 context selection과 one-step posterior correction (OSPC)을 통해 V=1,275 규모의 인과 추론을 6시간 내 1 GPU에서 수행.

주요 결과

19개 벤치마크 데이터셋에서 AUROC 0.96 (Tennessee Eastman), 0.93 (SWaT), 0.98 (Causal Rivers), 0.97 (CAUSRCA) 달성.
NullF1 0.94, AUROC 0.99로 null-effect 감지 성능 우수.
V=1,275 규모의 Kraft 데이터셋에서 6시간 내 인과 추론 완료 (PCMCI는 81.5시간 소요, V=1,275 예측 시 약 12.5일 소요).
TCPFN은 160개 edge 예측 vs. Granger 6,164개 edge로, 실제 운영 가능한 그래프 생성.

의의 및 한계

TCPFN은 제로샷 인과 추론과 신뢰도 신호를 동시에 제공하며, 다양한 도메인 (산업, 생물학, 비선형 시스템 등)에서 적용 가능하다. 기존 방법과 비교해 데이터셋별 학습 없이 동일 모델을 사용할 수 있어, 산업 현장에서 실용적이다. 그러나 Causal Judgment Head의 출력은 학습된 휴리스틱이지, 정식 인과 분석이 아님을 명시해야 한다. 또한, 토큰별 CATE 추정치의 시간 경로 상관성이 낮아 (평균 0), 추정치의 형태는 제한적이다. 인과 그래프의 정확도는 데이터셋별 최적 threshold가 필요하며, 제로샷 성능은 일부 경우 기존 방법과 유사하거나 낮을 수 있다.

실용적 활용

TCPFN은 제조 센서 데이터, 물 처리 시스템, 환경 수문학, 생물학적 신호 분석 등 다양한 산업 현장에서 인과 관계를 제로샷으로 추론할 수 있다. 특히, 대규모 패널 데이터셋에서의 빠른 추론과 신뢰도 신호 제공은 운영자 판단을 지원하며, 기존 방법이 생성하는 과포화 그래프 문제를 해결할 수 있다.