Structure-preserving uncertainty quantification for GENERIC dynamics

Structure-preserving machine learning embeds physical structure directly into model architectures, yet uncertainty quantification (UQ) for such hard-constrained models remains limited because standard UQ methods may violate the encoded admissibility conditions, require architectural modifications, or impose substantial computational costs. In this work, we propose Structure-Preserving Epistemic Neural Networks (S-PENNs), a general framework for UQ in scientific machine learning models with hard architectural constraints, and instantiate it for GENERIC (General Equation for Non-Equilibrium Reversible-Irreversible Coupling) dynamics. S-PENNs preserve the structural constraints of a pretrained model by attaching lightweight epinets to its constrained components, ensuring that every sampled realization remains physically admissible by construction. When applied to GENERIC dynamics, such a proposed framework yields thermodynamically consistent rollouts that preserve the first and second laws. Furthermore, we combine S-PENNs with split conformal prediction as a post-hoc calibration method to produce prediction intervals with finite-sample marginal coverage guarantees. We validate S-PENNs on three numerical examples: a harmonic oscillator coupled to a heat bath and an idealized chemical motor, both governed by ODEs, and a one-dimensional viscoplastic model governed by PDEs. Across all three examples, S-PENNs produce thermodynamically consistent stochastic realizations and well-calibrated prediction intervals while reducing the computational cost by about one to three orders of magnitude compared to deep ensembles. Although the present study focuses on GENERIC dynamics, S-PENNs can be extended more broadly to scientific machine learning models in computational mechanics with either hard or soft constraints.

한 줄 요약

S-PENNs는 물리 구조를 유지하면서 불확실성을 양자화하는 새로운 UQ 프레임워크로, GENERIC 역학에서 계산 비용을 1~3자리 줄이며 열역학적 일관성을 보장한다.

핵심 기여도

S-PENNs는 기존 모델의 구조적 제약을 유지하면서 불확실성을 양자화하는 새로운 UQ 프레임워크이다.
S-PENNs는 epinet을 제한된 구성 요소에 연결하여, 모든 샘플이 물리적으로 적합하도록 보장한다.
S-PENNs는 split conformal prediction과 결합하여 유한 샘플에서의 예측 구간을 보장한다.
3가지 수치 예제에서 S-PENNs는 계산 비용을 deep ensembles 대비 1~3자리 줄이며 열역학적 일관성을 유지한다.

핵심 아이디어

기존의 UQ 방법은 물리 구조를 유지하는 모델에 적용할 때 제약 조건을 위반하거나 계산 비용이 높아진다. 이에 반해 S-PENNs는 기존 모델의 구조를 유지하면서 epistemic 불확실성을 양자화하는 새로운 접근법을 제시한다. 구체적으로, S-PENNs는 pretrained 모델의 제한된 구성 요소에 lightweight epinet을 연결하여, 모든 샘플이 물리적으로 적합하도록 보장한다. 이는 열역학적 일관성을 유지하면서도 UQ를 수행할 수 있는 기반을 제공한다. 특히, GENERIC 역학에 적용될 경우, S-PENNs는 제1법칙(에너지 보존)과 제2법칙(비음의 엔트로피 생성)을 유지하는 rollout을 생성한다.

기술적 접근법

**S-PENNs**: 기존 pretrained 모델의 제한된 구성 요소에 epinet을 연결하여, 샘플이 물리적으로 적합하도록 보장.
**Split conformal prediction**: post-hoc calibration 방법으로, 유한 샘플에서의 예측 구간을 보장.
**GENERIC dynamics**: 제1법칙과 제2법칙을 유지하는 역학 구조.
**N-GENNs**: 비선형 GENERIC 역학을 학습하는 구조 보존 신경망.
**Epinet**: 제한된 구성 요소에 연결된 가벼운 불확실성 모델.
**Half-normal, uniform, exponential**: epinet의 reference distribution으로 사용.

주요 결과

**Harmonic oscillator**: S-PENNs (half-normal)의 예측 오차는 q: 3.019×10⁻², p: 2.20×10⁻², ϵ: 1.24×10⁻².
**Deep ensembles**: q: 2.25×10⁻², p: 1.67×10⁻², ϵ: 1.54×10⁻³.
**MC dropout**: q: 6.43×10⁻², p: 5.86×10⁻², ϵ: 1.38×10⁻².
**계산 비용**: S-PENNs는 1.2×10²~1.3×10²초, deep ensembles는 9.1×10³초, 2000-member deep ensemble는 3.6×10⁵초.
**Empirical coverage**: split conformal calibration을 통해 이상적인 대각선에 가까워짐.

의의 및 한계

S-PENNs는 물리 구조를 유지하면서도 계산 비용을 크게 줄이는 UQ 방법으로, 특히 GENERIC 역학에서 열역학적 일관성을 보장하는 것이 학술적·실용적 가치가 있다. 기존의 deep ensembles 대비 1~3자리의 계산 비용 절감은 대규모 시뮬레이션에서 유리하다. 또한, S-PENNs는 제한된 데이터나 노이즈가 있는 상황에서도 신뢰할 수 있는 예측 구간을 제공한다. 그러나 현재 연구는 주로 GENERIC 역학에 초점을 맞추고 있으며, 다른 물리 구조를 가진 모델로의 확장 가능성은 추가 연구가 필요하다. 또한, reference distribution 선택에 따라 예측 정확도가 약간 변동할 수 있다.

실용적 활용

S-PENNs는 열역학적 제약이 있는 시스템, 예를 들어, 비균형 역학 시뮬레이션, 재료 과학, 화학 모터 모델링 등에 적용 가능하다. 특히, 계산 비용이 높은 대규모 시뮬레이션에서 불확실성 추정을 효율적으로 수행할 수 있어, 공학 및 물리학 분야에서 실용적 활용이 기대된다.