SciML in the Wild: A Diagnostic Study of When Structural Priors Help and When They Hurt

Scientific Machine Learning (SciML) methods such as Neural Ordinary Differential Equations (NODEs), Physics-Informed Neural Networks (PINNs), and Universal Differential Equations (UDEs) are most effective when structural priors reflect reliable governing dynamics. We ask what happens when this assumption is violated. Using macroeconomic forecasting as a stress-test domain, we evaluate five model families, ARIMA, LSTM, NODE, PINN, and UDE, across 23 countries using sparse annual data, multiple temporal splits, and five random seeds. Our results show that none of the evaluated models achieve consistently strong forecasting performance, highlighting the difficulty of low-frequency macroeconomic prediction. However, a clear relative hierarchy emerges: less-constrained models, particularly ARIMA and NODE, consistently outperform more-constrained heuristic-prior models such as PINN and UDE. Rather than treating this as a rejection of SciML, we interpret it as a diagnostic result: structural priors can act as misregularizers when they do not match the data-generating process. We identify failure modes including prior misalignment, regime shifts, structural breaks, and optimization instability, and argue that SciML practitioners should test whether structure helps before assuming that more structure is beneficial.

한 줄 요약

23개국의 저주파수 거시경제 예측을 통해 SciML 모델의 구조적 사전지식이 예측 성능에 미치는 영향을 진단적으로 분석한 연구.

핵심 기여도

23개국을 대상으로 ARIMA, LSTM, NODE, PINN, UDE 모델을 비교한 대규모 실험 수행.
구조적 사전지식이 포함된 PINN과 UDE가 ARIMA 및 NODE보다 예측 성능이 낮거나 동일한 경향을 보임.
구조적 사전지식이 데이터 생성 과정과 불일치할 경우 "misregularizer"로 작용할 수 있음을 실증적으로 밝힘.
사전지식 불일치, 제도 변화, 구조적 돌발변동, 최적화 불안정성 등 4가지 실패 모드를 식별.

핵심 아이디어

전통적인 거시경제 예측 모델은 통계적 관계에 의존하며, 구조적 불연속성과 비선형성을 포착하는 데 한계가 있다. 반면, SciML은 NODE, PINN, UDE와 같은 모델을 통해 데이터 기반 학습과 구조적 사전지식을 결합하려는 접근을 시도한다. 그러나 이 연구는 이러한 구조적 사전지식이 거시경제 예측에서 항상 유리하지 않다는 점을 강조한다. 특히, PINN과 UDE는 물리 기반 사전지식이 아닌 휴리스틱 구조를 사용하며, 이는 실제 거시경제 동태와 불일치할 수 있다. 연구는 구조적 제약이 모델 성능을 오히려 저하시킬 수 있음을 보여주며, SciML 모델 적용 시 사전지식의 적합성을 사전에 검증할 필요성을 제시한다.

기술적 접근법

**모델**: ARIMA, LSTM, NODE, PINN, UDE 5가지 모델 비교.
**데이터**: 23개국의 저주파수(연간) 거시경제 데이터.
**평가 지표**: $ R^2 $, RMSE, MAPE.
**실험 설정**: 다중 시간 분할, 5개의 랜덤 시드({42, 7, 123, 2024, 999}) 사용.
**NODE 및 UDE**: 연속시간 예측을 위해 1년 단위 one-step-ahead 설정.
**PINN 실험**: 구조적 손실 항 제거 실험을 통해 사전지식의 영향 분석.

주요 결과

**모든 모델의 절대 성능**: 대부분의 국가에서 $ R^2 $ 값이 음수로, 예측 성능이 낮음.
**모델 간 상대 성능**: ARIMA와 NODE가 PINN 및 UDE보다 대부분의 국가에서 $ R^2 $ 기준으로 우수함.
**구조적 사전지식 제거 실험**: PINN에서 물리 기반 손실 항을 제거하면 퍼루, 이집트, 베트남, 아르헨티나 등에서 예측 성능이 개선됨.
**PINN 성능 저하 폭**: 일부 국가에서 $ R^2 $가 -0.5 이하로 하락하며, 구조적 제약이 예측 정확도를 감소시킴.

의의 및 한계

**의의**: SciML 모델의 구조적 사전지식이 데이터와 불일치할 경우 오히려 성능 저하를 초래할 수 있음을 실증적으로 밝힘. 이는 SciML 모델 적용 시 사전지식의 적합성을 검증하는 절차가 필요함을 시사.
**한계**: 본 연구는 휴리스틱 구조를 사용한 SciML 모델에 초점을 맞춘 실험으로, 이론적으로 정립된 경제 모델과의 비교는 포함되지 않음. 또한, 데이터는 연간 단위로 매우 저주파수이며, 고주파수 거시경제 데이터에서는 다른 결과가 나올 수 있음.

실용적 활용

**정책 수립**: 거시경제 예측 모델 선택 시 과도한 구조적 제약보다는 유연한 모델(예: ARIMA, NODE)을 우선 고려할 수 있음.
**모델 개발**: SciML 모델 적용 시 사전지식의 적합성을 사전에 실험적으로 검증하는 프로세스 도입이 필요함.
**금융 분석**: 구조적 돌발변동이 빈번한 금융 시장 예측에도 유사한 접근법이 적용 가능.