curriculum-learning partial-differential-equations boundary-value-problems loss-landscapes information-propagation low-frequency-drift pde-benchmarks physics-informed-neural-networks
Abstract
Physics-Informed Neural Networks (PINNs) combine deep learning with physical constraints for solving partial differential equations (PDEs), and are widely applied in fluid mechanics, heat transfer, and solid mechanics. However, PINN training still suffers from high-dimensional non-convex loss landscapes, imbalanced multiobjective constraints, and ineffective information propagation. Existing curriculum learning and causality-guided strategies improve training stability, but mainly focus on temporal or parametric progression, lacking explicit treatment of spatial information propagation and inter-region consistency. Moreover, they are not directly applicable to boundary value problems (BVPs) with strong spatial coupling. To address this issue, we propose a spatially correlated curriculum learning framework for PINNs. To the best of our knowledge, this is the first work to address PINN training difficulties from the perspective of spatial coupling among subregions. First, spatial causal weights guide information from near-boundary regions inward, reducing optimization failures and spurious convergence. Second, a low-frequency information bridge enforces pseudo-label-based consistency across spatially separated regions, suppressing global low-frequency drift. Third, a region-adaptive reweighting strategy adjusts subregion losses to reduce local residuals and recover high-frequency details. Experiments on PDE benchmarks show that, under comparable computational cost, the proposed method alleviates training failures and improves solution accuracy. The code is available at https://github.com/pigofmomo/CurriculumLearningPINN.
한국어 요약
📋 한 줄 요약
**[Scientific ML / PINN]** 공간 상관성 기반 커리큘럼 학습으로 물리 정보 신경망(PINN)의 학습 실패와 정확도 문제를 완화한다.
🎯 핵심 기여도
- PINN 학습의 어려움을 부분 영역 간 **공간 결합(spatial coupling)** 관점에서 다룬 최초의 시도
- 경계 근처 영역에서 내부로 정보가 전파되도록 유도하는 **공간 인과 가중치(spatial causal weights)** 도입
- 분리된 영역 간 일관성을 강제하는 **저주파 정보 브리지(low-frequency information bridge)** 제안
- 부분 영역 손실을 적응적으로 조정하는 **region-adaptive reweighting** 전략으로 잔차 감소 및 고주파 디테일 복원
💡 핵심 아이디어
기존 PINN의 커리큘럼 학습은 시간 또는 파라미터 진행에 집중했지만, 강한 공간 결합을 갖는 경계값 문제(BVP)에는 직접 적용하기 어렵다. 본 연구는 공간 영역 간의 정보 전파와 일관성을 명시적으로 다루어 비볼록 손실 지형과 다목적 제약의 불균형을 해결한다.
🔬 기술적 접근법
- **모델/방법론**: 표준 PINN 위에 공간 상관 커리큘럼 학습 프레임워크를 결합
- **핵심 기법**: (1) 공간 인과 가중치로 경계→내부 정보 흐름 유도, (2) 의사 라벨 기반 저주파 일관성 손실로 전역 저주파 드리프트 억제, (3) 영역별 가중치 재조정으로 국소 잔차 감소
📊 주요 결과
- PDE 벤치마크에서 비슷한 연산 비용 대비 학습 실패율 감소
- 해의 정확도 향상 확인
- 코드 공개: github.com/pigofmomo/CurriculumLearningPINN
💭 의의 및 한계
**의의**: PINN 학습 안정화 연구의 새로운 축으로 공간 결합을 도입했으며, BVP에 직접 적용 가능한 첫 커리큘럼 학습 프레임워크다. **한계**: 공간 상관 가중치 설계가 PDE 형태에 따라 조정이 필요할 수 있으며, 시간 의존 PDE로의 확장은 추가 검증이 필요하다.
🚀 실용적 활용
- 유체역학·열전달·고체역학 시뮬레이션의 PINN 가속화
- 강한 경계 조건을 갖는 공학 BVP 해석
- 기존 PINN 코드에 모듈식으로 결합 가능한 학습 안정화 도구