LIGO-PINN: Learned Initialization via Gated Optimization to Alleviate Convergence Failures in Physics Informed Neural Networks

Physics-informed neural networks (PINNs) have had a broad research impact in modeling domains governed by partial differential equations (PDE). However, PINNs have been shown to perform poorly, sometimes even converging to trivial solutions, in challenging PDE domains, or when generalizing to unseen but related PDE domains. Previously proposed solutions detail hyperparameter tuning to reduce loss imbalance between data-driven and physics guided losses, curriculum learning based training strategies, or dynamic re-sampling of hard collocation points. These methods face certain pitfalls: hyperparameter tuning is expensive, designing a training curriculum is ambiguous in multi-parameter PDE settings, and dynamic resampling still fails in complex PDE settings. Complementary to this line of thinking, we believe the initial PINN network weights also play a crucial role in the emergence of catastrophic failures during training, yet the effect of PINN weight initialization has been surprisingly under-investigated. To this end, we propose a framework for Learned Initialization via Gated Layerwise Optimization (LIGO-PINN) to overcome PINN convergence failures. Through rigorous evaluation on 1D and 2D PDE domains, including a challenging 2D fluid dynamics setting, we demonstrate that our methodology outperforms state-of-the-art methods designed to alleviate PINN failures, achieving a 91.5% average performance improvement across six baselines and 81% over the strongest baseline. We also verify that LIGO-PINN generalizes to 3D unstructured domains. Finally, we analyze training dynamics across all three PDE domains to explain both LIGO-PINN's improvement and the convergence failure of traditional PINNs. Code: https://github.com/scailab/ligo-pinn Keywords: Machine Learning, Physics-Informed Neural Networks, Deep Learning, PDE Modeling

한 줄 요약

LIGO-PINN은 PINN의 수렴 실패를 해결하기 위해 초기 가중치 학습을 통한 Gated Layerwise 최적화를 제안한다.

핵심 기여도

PINN의 초기 가중치 초기화가 수렴 실패에 큰 영향을 미친다는 새로운 통찰 제시.
Gated Layerwise Optimization을 통해 초기화를 학습함으로써 1D, 2D PDE에서 평균 91.5% 성능 향상.
기존 최고 성능 기준 대비 81% 개선.
3D 비구조화 영역으로도 일반화 가능성을 검증.

핵심 아이디어

PINN은 PDE 기반 모델링에 널리 활용되지만, 복잡한 PDE나 미관측 도메인에서 수렴 실패가 빈번하다. 기존 연구는 하이퍼파라미터 조정, 커리큘럼 학습, 하드 포인트 재샘플링을 제안했으나, 이들 방법은 비용이 높거나 복잡한 도메인에서는 효과적이지 않다. 본 연구는 PINN의 초기 가중치가 수렴 실패에 결정적인 영향을 미친다는 점에 주목한다. 이에 따라, LIGO-PINN은 Gated Layerwise Optimization을 통해 초기화를 학습함으로써 수렴 실패를 극복한다. 이는 PINN의 초기화 전략을 데이터 기반으로 학습하는 새로운 접근법이다.

기술적 접근법

**LIGO-PINN**: Gated Layerwise Optimization을 통해 PINN의 초기 가중치를 학습.
**PDE 도메인**: 1D, 2D, 3D 비구조화 영역에서 평가.
**비교 대상**: 기존 6개 기법과 가장 강력한 기준 대비 성능 비교.
**수치**: 91.5% 평균 성능 향상, 81% 개선.

주요 결과

1D, 2D PDE 도메인에서 평균 91.5% 성능 향상.
가장 강력한 기준 대비 81% 개선.
3D 비구조화 도메인에서도 일반화 성능 검증됨.

의의 및 한계

LIGO-PINN은 PINN의 수렴 실패 문제를 초기화 전략을 학습함으로써 해결하는 새로운 접근법을 제시한다. 이는 PDE 모델링에서 신뢰성 있는 학습을 가능하게 하며, 복잡한 도메인에서도 일반화 가능성을 확장한다. 그러나 3D 이상의 고차원 도메인에서의 확장성이나 대규모 데이터셋에서의 성능은 명시되지 않아 추가 연구가 필요하다.

실용적 활용

LIGO-PINN은 유체 역학, 열전달, 재료 과학 등 PDE 기반 모델링이 필요한 산업 및 연구 분야에서 PINN의 수렴 문제를 해결하는 데 유용하게 활용될 수 있다.