PASC: Pipeline-Aware Conformal Prediction with Joint Coverage Guarantees for Multi-Stage NLP and LLM Pipelines

Modern NLP and LLM systems are pipelines: named entity recognition (NER) -> entity disambiguation (NED) -> entity typing, retrieval-augmented generation (retriever -> reader), and agentic chains of planner -> tool -> critic. Errors compound across stages, but existing uncertainty quantification methods either calibrate each stage independently (no joint coverage) or apply a Bonferroni union bound (joint coverage, but conservative). We present PASC (Pipeline-Aware Split Conformal), which reduces multi-stage joint coverage to a single scalar conformal prediction problem on the joint maximum nonconformity score. PASC provides a finite-sample distribution-free guarantee that all K stages are simultaneously covered with probability at least 1 - alpha, and is nearly tight up to a 1/(n+1) factor. On a three-stage NER -> NED -> entity-typing pipeline over CoNLL-2003, PASC achieves 96.4% end-to-end coverage versus 93.4% for Bonferroni and 86.5% for independent CP, at identical average prediction set size (1.083). Under distribution shift to WNUT-17 Twitter and WikiNEuRal Wikipedia data, PASC empirically maintains the target coverage in the tested shift settings while independent CP collapses to 59%. PASC requires a single quantile computation, runs 1.7x faster than Bonferroni, and scales to K = 6 stages where independent CP drops to 0.53 end-to-end coverage. The same joint-maximum-score reduction applies directly to compound LLM systems and agent pipelines.

📋 한 줄 요약

**[Conformal Prediction / 파이프라인 보장]** 다단계 NLP·LLM 파이프라인의 결합 커버리지 보장을 단일 스칼라 conformal 문제로 환원하는 PASC 제안.

🎯 핵심 기여도

현대 NLP·LLM 시스템이 NER→NED→typing, retriever→reader, planner→tool→critic 같은 다단계 파이프라인이며, 오차가 단계 간 누적된다는 문제 정의.
기존 UQ가 단계별 독립 보정(결합 보장 없음) 또는 Bonferroni union bound(결합 보장은 있으나 보수적) 양극단에 머무른다는 한계 지적.
Pipeline-Aware Split Conformal(PASC) 제안: 결합 최대 nonconformity 점수에 대한 단일 스칼라 conformal 문제로 환원.
유한 표본·분포 자유 보장: 모든 K개 단계가 동시 커버될 확률 ≥ 1-α를 1/(n+1) 인자까지 거의 빡빡하게 달성.

💡 핵심 아이디어

다단계 파이프라인의 joint coverage는 단계별 보정을 합치는 union bound가 아니라 "각 단계의 최대 nonconformity"라는 하나의 스칼라에 대해서만 보정하면 충분하다.

🔬 기술적 접근법

**모델/방법론**: split conformal prediction을 다단계 파이프라인의 joint maximum nonconformity로 환원.
**핵심 기법**: K개 단계의 nonconformity 점수의 최대값을 단일 스칼라로 conformal calibration, 분포 자유·유한 표본 보장, 동일 환원이 compound LLM 시스템·에이전트 파이프라인에 직접 적용 가능.

📊 주요 결과

CoNLL-2003 NER→NED→typing 3단계 파이프라인:
PASC end-to-end coverage 96.4% (vs Bonferroni 93.4%, 독립 CP 86.5%, 동일 평균 prediction set size 1.083).
WNUT-17·WikiNEuRal 분포 이동 하에서 PASC는 목표 커버리지 유지, 독립 CP는 59%로 붕괴.
단일 quantile 계산만 필요해 Bonferroni 대비 1.7× 빠름.
K=6 단계까지 확장 가능, 독립 CP는 0.53 end-to-end coverage까지 하락.

💭 의의 및 한계

**의의**: 다단계 RAG·에이전트 시스템에 적용 가능한 실용적·이론적으로 빡빡한 결합 커버리지 도구 제공. **한계**: nonconformity 점수의 동질성에 의존하는 빡빡함, 단계 간 강한 상관이 있을 때 최적성 분석은 추가 연구 필요.

🚀 실용적 활용

RAG·에이전트 파이프라인의 신뢰 구간 산출.
의료·법률 다단계 NLP 시스템의 안전 보장.
LLM 도구 사용 체인의 calibration 표준 도구.