EvoPINN: Agentic Discovery of Executable Algorithms for Physics-Informed Neural Networks

Physics-informed neural networks (PINNs) have emerged as a powerful paradigm for solving partial differential equations (PDEs), yet their performance heavily relies on the manual, trial-and-error engineering of neural representations, loss formulations, and optimization dynamics. While Large Language Models (LLMs) offer a promising avenue for automated design, unconstrained code generation often yields mathematically invalid or numerically unstable solutions under strict scientific computing constraints. To bridge this gap, we propose \textbf{EvoPINN}, an agentic framework that reformulates PINN development from labor-intensive manual design into a rigorous, execution-grounded algorithm discovery problem. EvoPINN navigates a modular search space by decoupling neural representations from training programs, utilizing an LLM agent to iteratively propose memory-conditioned programmatic modifications. To ensure scientific validity, all candidates undergo strict structural verification and budget-matched PDE evaluation. Extensive experiments across diverse PDE regimes (oscillatory, elliptic, dissipative, and nonlinear transport) demonstrate that EvoPINN discovers PDE-specialized learning algorithms that significantly reduce relative $L_{2}$ error compared to baselines. Crucially, EvoPINN autonomously invented SLRC-PINN, a novel architecture whose performance gains persist under rigorous parameter-matched comparisons, establishing the viability of execution-grounded agents for discovering genuinely new scientific computing mechanisms.

한 줄 요약

EvoPINN은 LLM 기반 에이전트를 활용해 PDE 특화 학습 알고리즘을 자동으로 발견하는 실행 기반 프레임워크로, SLRC-PINN 아키텍처를 독자적으로 개발해 기존 방법 대비 L2 오차를 감소시킨다.

핵심 기여도

EvoPINN은 PINN 개발을 수동 설계에서 실행 기반 알고리즘 발견 문제로 전환하는 프레임워크를 제안.
LLM 에이전트가 메모리 조건에 따라 모듈별 프로그래밍 수정을 반복적으로 제안하며, 모든 후보는 구조적 검증과 PDE 평가를 거침.
SLRC-PINN 아키텍처를 자동 생성, 파라미터 일치 비교에서도 지속적인 성능 개선을 보임.
다양한 PDE 범주(진동, 타원, 소멸, 비선형 운반)에서 기존 방법 대비 상대 L2 오차 감소를 실증.

핵심 아이디어

EvoPINN은 기존 PINN 설계가 수동적이고 PDE 종류에 따라 달라지는 문제를 해결하기 위해, LLM 기반 에이전트를 활용한 실행 기반 알고리즘 발견 프레임워크를 제안한다. 핵심 아이디어는 **신경망 표현과 학습 프로그램을 분리한 모듈형 탐색 공간**을 통해, LLM이 메모리 조건에 따라 하나의 모듈에만 프로그래밍 수정을 제안하도록 유도하는 것이다. 이는 수학적 유효성과 수치적 안정성을 보장하기 위해 모든 후보가 **구조적 검증**, **실행 테스트**, **예산 일치 PDE 평가**를 거쳐야 실행에 반영된다는 점에서 차별화된다.

EvoPINN은 기존 자동화된 PINN 연구가 주로 **하이퍼파라미터 튜닝**이나 **사전 정의된 구성 요소 조합**에 집중한 반면, 핵심적인 **신경망 표현**과 **최적화 동역학**을 동시에 자동으로 발견하는 문제를 해결한다. 특히, LLM이 무제한으로 생성하는 코드가 수학적으로 유효하지 않거나 수치적으로 불안정할 수 있는 문제를 해결하기 위해 **실행 기반 검증 파이프라인**을 도입한 것이 핵심 통찰이다.

기술적 접근법

**모듈 분리**: 신경망 표현 모듈과 물리 기반 학습 프로그램을 분리하여 독립적으로 수정 가능하게 함.
**LLM 에이전트**: 메모리 조건에 따라 하나의 모듈에 대한 프로그래밍 수정을 반복적으로 제안.
**검증 파이프라인**:
**구조적 검증**: 수학적 유효성 검사.
**실행 테스트**: 생성된 코드의 실행 가능성 확인.
**예산 일치 PDE 평가**: 후보 알고리즘의 PDE 해결 능력 평가.
**SLRC-PINN**: 자동 생성된 아키텍처로, **로컬 기반 함수의 적응적 뱅크**와 **제로 초기화 보정 분기**를 결합한 **글로벌-로컬 구조**를 채택.

주요 결과

**Oscillatory, Elliptic, Dissipative, Nonlinear Transport PDE**에서 기존 PINN 대비 상대 L2 오차 감소.
**Burgers1D** 문제에서 EvoPINN이 독자적으로 개발한 **SLRC-PINN**는 파라미터 일치 비교에서도 지속적인 성능 개선을 보임.
**Wave1D**에서 진단 정보 없이 제안된 알고리즘은 정확도가 저하됨 (Table 4 참조).
**모듈 병렬 수정**은 실행 불안정성을 유발하지만, **단일 모듈 순차 수정**은 후보 유효성을 보장함.

의의 및 한계

EvoPINN은 PINN 설계를 수동적 구성 조합에서 **실행 기반 알고리즘 발견**으로 전환하는 기술적 가능성을 입증한다. 특히, **SLRC-PINN**와 같은 새로운 아키텍처를 자동 생성하고, 기존 전문가 설계 방법 대비 **지속적인 성능 개선**을 보인 점은 학술적·실용적 가치가 크다.

그러나 한계도 존재한다. EvoPINN의 창의성은 **LLM의 코드 생성 능력과 과학적 추론 능력**에 의존하며, **후보 알고리즘 평가에 필요한 전체 예산 PINN 학습 비용**이 높아 탐색 과정에서 비용 문제가 발생한다. 또한, 현재는 **PDE 종류에 따라 모듈 수정 전략이 동일하게 적용**되며, PDE 종류별 최적화 전략을 고려한 확장이 필요하다.

실용적 활용

EvoPINN은 **복잡한 PDE 문제 해결**을 위한 PINN 설계를 자동화할 수 있어, **공학 시뮬레이션**, **기후 모델링**, **생물학적 시스템 분석** 등 다양한 과학 컴퓨팅 분야에 적용 가능하다. 특히, **SLRC-PINN**와 같은 새로운 아키텍처를 자동으로 발견할 수 있어, **전문가가 직접 설계하지 못한 복잡한 문제**에 대한 해결책을 제공할 수 있다.