Format-Constraint Coupling in Knowledge Graph Construction from Statistical Tables

An extraction schema should not reduce knowledge graph fidelity. On statistical CSV, however, it can. We study country-by-year time-series matrices, a common layout on open-data portals. In this setting, serialization format and schema constraints interact super-additively. Their joint effect exceeds the sum of independent effects by up to +1.180 (2x2 factorial, 6 datasets). Bootstrap 95% CIs are strictly positive on 4/6 datasets, with strongest evidence on wide Type-II matrices. More critically, a schema applied to a mismatched format can trigger catastrophic mismatch. Fact coverage falls below the unconstrained baseline on 4/6 datasets through entity inflation or extraction refusal. We call this observed pattern format-constraint coupling. Probing and token ablation support a surface-form anchoring explanation centred on column-name references. Controlled variants across format-schema pairings, GraphRAG hosts, and LLM families show the same direction within the measured scope; one LLM family shows only partial activation. The observation also has a diagnostic consequence. Three standard retrieval modes largely mask construction quality (delta <= 1pp), whereas direct graph access exposes gaps up to +47.6pp (p < 0.0001). To support fidelity-aware evaluation, we release CSVFidelity-Bench. It contains 15 datasets, 11 Type-II matrices, 4 Type-III tables, and 1,892 Gold Standard facts across 6 domains.

한 줄 요약

**[Knowledge Graph / LLM 추출]** Format-constraint coupling이 통계 CSV에서 KG 구성 시 schema·serialization의 super-additive 상호작용으로 fidelity 저하 유발 — 최대 +1.180 결합 효과, 4/6 데이터셋에서 catastrophic mismatch, CSVFidelity-Bench 공개.

핵심 기여도

추출 schema가 knowledge graph fidelity를 reduce하면 안 되지만 통계 CSV에서는 그럴 수 있음을 발견 — open-data portal의 common layout인 country-by-year time-series 행렬에서 serialization format과 schema constraint가 super-additively 상호작용 연구.
이들의 joint effect가 independent effect 합을 최대 +1.180 초과(2x2 factorial, 6 데이터셋)함을 정량 입증, Bootstrap 95% CI가 4/6 데이터셋에서 strictly positive, wide Type-II 행렬에서 가장 강한 evidence.
Schema가 mismatched format에 적용되면 catastrophic mismatch 유발 — 4/6 데이터셋에서 entity inflation·extraction refusal로 unconstrained baseline 대비 fact coverage 감소. 이 패턴을 format-constraint coupling으로 명명.
표준 retrieval 모드 3개가 construction 품질을 largely mask(delta ≤ 1pp)하는 반면 direct graph access가 최대 +47.6pp의 gap 노출(p < 0.0001) — fidelity-aware 평가를 위해 CSVFidelity-Bench 공개(15 데이터셋, 11 Type-II 행렬, 4 Type-III 표, 1,892 Gold Standard fact, 6 도메인).

핵심 아이디어

LLM 기반 KG 추출의 fidelity 저하는 schema·format을 독립 변수로 취급해서는 안 되며 둘의 상호작용이 super-additive로 catastrophic 효과를 낼 수 있다 — column-name reference의 surface-form anchoring이 원인이며, 표준 retrieval은 이를 mask하므로 direct graph access 기반 평가가 필요하다.

기술적 접근법

**방법론**: 2x2 factorial analysis (format × schema) + CSVFidelity-Bench.
**핵심 기법**: (1) Country-by-year time-series 행렬에서 format·schema 교차 분석, (2) Bootstrap 95% CI로 super-additive effect 검증, (3) Probing·token ablation으로 surface-form anchoring 가설 지원, (4) Format-schema·GraphRAG host·LLM family 통제 실험, (5) 표준 retrieval 3 모드 vs direct graph access 비교, (6) 6 도메인 1,892 Gold Standard fact 벤치마크 공개.

주요 결과

Format·schema의 super-additive joint effect 최대 +1.180.
4/6 데이터셋에서 strictly positive Bootstrap 95% CI.
4/6 데이터셋에서 fact coverage가 unconstrained baseline 이하로 감소(catastrophic mismatch).
직접 graph 접근이 최대 +47.6pp gap 노출(p < 0.0001) — 표준 retrieval은 ≤ 1pp.
CSVFidelity-Bench 공개: 15 데이터셋, 1,892 Gold Standard fact.

의의 및 한계

**의의**: KG 추출 평가의 systematic 결함 노출, format-constraint coupling이라는 새 진단 개념, retrieval 평가가 construction 결함 masking을 정량 입증, 공개 벤치마크로 분야 발전 가속. **한계**: Country-by-year 통계 데이터에 한정, 한 LLM family에서 partial activation, surface-form anchoring 가설의 다른 도메인 일반화 필요.

실용적 활용

KG 구성 파이프라인 design·debug.
LLM 기반 정보 추출 fidelity 진단.
GraphRAG 시스템 평가 표준.