Pointwise Metrics Mislead: An Evaluation Protocol for Multimodal Inverse Problems

Evaluation in scientific reconstruction is dominated by pointwise metrics - RMSE, MAE, per-event resolution - under the implicit assumption that lower error means better reconstruction. We show that this assumption fails structurally for inverse problems with multimodal posteriors. By the law of total variance, point estimators trained to minimize MSE or MAE produce a marginal spectrum strictly narrower than the truth whenever the posterior has nonzero width. The resulting bias is independent of architecture, training, and dataset size, and it compresses precisely the spectral features - tails, modes, shapes - that downstream scientific measurements rely on. We propose a three-part evaluation protocol where each step targets a failure mode the others miss: per-event distributional accuracy via CRPS, population-level marginal accuracy via a spectrum-fidelity diagnostic, and uncertainty trustworthiness via coverage-based calibration. On a synthetic benchmark with an analytic posterior and on a realistic many-to-one inverse problem from particle physics, model rankings reverse between pointwise and distributional metrics, and calibration further separates architectures indistinguishable under CRPS. The evaluation protocol, not the model, determines the scientific conclusion.

📋 한 줄 요약

**[과학 재구성 평가 / 다봉 사후분포]** Pointwise metric(RMSE·MAE)이 multimodal posterior 역문제에서 구조적으로 실패함을 입증, CRPS·spectrum fidelity·calibration 3단 평가 프로토콜 제시로 model ranking이 reversal됨을 보임.

🎯 핵심 기여도

과학 재구성 평가가 RMSE·MAE·per-event resolution 등 pointwise metric에 압도적으로 의존하며 "낮은 오차 = 더 나은 재구성" 가정에 기반함을 진단, multimodal posterior 역문제에서 이 가정이 structural 하게 실패함을 보임.
Law of total variance에 의해 MSE·MAE 최소화 point estimator가 posterior 폭이 nonzero일 때 marginal spectrum을 truth보다 strictly narrower하게 만든다는 분석 — bias가 architecture·training·dataset size와 무관, downstream scientific measurement가 의존하는 tail·mode·shape 같은 spectral feature를 정확히 compress함.
3 부 평가 프로토콜 제안 — per-event 분포 정확도는 CRPS, population-level marginal 정확도는 spectrum-fidelity diagnostic, uncertainty 신뢰성은 coverage 기반 calibration으로 각각 다른 failure mode를 타겟.
해석적 posterior가 있는 synthetic benchmark와 입자물리의 realistic many-to-one 역문제에서 pointwise vs distributional metric 간 model ranking이 reversal됨을 입증, CRPS로도 구분되지 않던 architecture를 calibration이 추가 분리.

💡 핵심 아이디어

Multimodal posterior 역문제에서는 pointwise metric이 모델 자체가 아닌 evaluation protocol에 의해 과학적 결론이 결정되며, 분포 정확도·spectral fidelity·calibration을 동시에 검사해야 신뢰성 있는 평가가 가능하다.

🔬 기술적 접근법

**방법론**: 3 부 평가 프로토콜(CRPS + spectrum-fidelity diagnostic + coverage-based calibration).
**핵심 기법**: (1) Law of total variance로 point estimator의 marginal spectrum 압축 증명, (2) CRPS로 per-event 분포 정확도 측정, (3) Spectrum-fidelity diagnostic으로 population marginal 정확도 측정, (4) Coverage 기반 calibration으로 uncertainty 신뢰성 측정, (5) 해석적 posterior synthetic benchmark + 입자물리 many-to-one 역문제에서 검증.

📊 주요 결과

Synthetic·입자물리 두 환경 모두에서 pointwise와 distributional metric 간 model ranking 역전.
Calibration이 CRPS로 indistinguishable한 architecture까지 추가 분리.
Point estimator의 marginal spectrum 압축이 architecture·dataset size와 무관함을 이론·실험으로 확증.
"모델이 아닌 evaluation protocol이 과학적 결론을 결정한다"는 강한 주장.

💭 의의 및 한계

**의의**: 과학 재구성 분야의 평가 표준에 근본적 재고를 요구, multimodal posterior 역문제 평가의 원리적 프로토콜 제공, downstream 과학 측정의 신뢰성 회복 경로 제시. **한계**: 입자물리 사례 중심으로 다른 과학 도메인(천체·기후·의료) 일반화 추가 검증 필요, CRPS·spectrum diagnostic 계산 비용, calibration 검정의 sample size 의존.

🚀 실용적 활용

입자물리·천체물리 reconstruction 모델 평가.
의료영상·기후 역문제의 distributional 평가 도입.
과학 ML 벤치마크의 metric 재설계 가이드.