When Does Frequency Decomposition Benefit Physics-Informed Neural Networks? A Preliminary Ablation Study

Partial differential equations (PDEs) often have high-frequency and multi-scale features that neural networks struggle to approximate. Physics-Informed Neural Networks (PINNs) build the governing equations directly into training, but suffer from spectral bias: they learn low-frequency components faster than high-frequency ones. Techniques such as Fourier feature embeddings and sinusoidal activations address this, but most studies assume they help across the board without checking which spectral regimes actually benefit. We introduce a dual-branch, spectrally-gated architecture (DBSG-PINN) that splits low- and high-frequency components into separate subnetworks joined by an adaptive gate, and use it to run a partially controlled ablation of frequency decomposition and spectral routing. We test this on five one-dimensional benchmark PDEs, ranging from smooth, single-scale problems to oscillatory, multi-scale ones. Frequency decomposition helps most on the spectrally complex benchmarks, cutting relative $L_2$ error by up to $59.2\%$ on a multimodal wave problem, but gives little benefit on smoother PDEs. On one benchmark (1D Wave), it performs substantially worse than a simpler fixed-combination variant. The gate's benefit scales with how spectrally rich the target solution is: the full model's advantage over the ablations is largest on multi-scale benchmarks and smallest (or negative) on single-scale ones, consistent with the gate exploiting frequency structure rather than acting as noise,though we do not directly visualize or quantify its spatial activations in this study. All results come from a single training seed across five 1D benchmarks, so we present this as an exploratory study meant to raise questions rather than answer them, and outline the additional seeds and benchmarks needed to test whether the pattern holds.

한 줄 요약

주파수 분해가 PINN 성능에 언제 도움이 되는지 탐구한 실험적 연구.

핵심 기여도

DBSG-PINN이라는 이중 분기-스펙트럼 게이트 아키텍처를 제안.
주파수 분해가 다중 주파수 문제에서 상대 $L_2$ 오차를 최대 59.2% 감소.
고정 결합 방식 대비 학습된 게이트가 복잡한 문제에서 더 우수한 성능.
단일 훈련 시드 기반으로 실험적 패턴 제시.

핵심 아이디어

기존 PINN은 저주파 성분을 빠르게 학습하는 스펙트럼 바이어스를 겪는다. 저주파와 고주파 성분을 분리하여 학습하는 방법이 제안되었으나, 언제 이것이 효과적인지는 명확하지 않았다. 본 연구는 DBSG-PINN이라는 새로운 아키텍처를 통해 주파수 분해와 스펙트럼 라우팅의 효과를 실험적으로 분석한다. 이 아키텍처는 저주파 분기(하이퍼볼릭 탄젠트 활성화)와 고주파 분기(사인 활성화)를 가지며, 이들의 출력은 공간적으로 변하는 가중치를 학습하는 적응 게이트를 통해 결합된다. 이는 주파수 구조에 따라 모델이 자동으로 조정되도록 하며, 주파수 분해가 문제 복잡도에 따라 효과가 달라진다는 가설을 검증한다.

기술적 접근법

**DBSG-PINN 아키텍처**: 저주파 분기(하이퍼볼릭 탄젠트), 고주파 분기(사인), 적응 게이트 $g(x,t)$로 구성.
**Ablation Variants**:
Full: 두 분기 + 학습된 게이트.
NoGate: 두 분기 + 고정 게이트(0.5).
LowOnly: 저주파 분기만 사용.
HighOnly: 고주파 분기만 사용.
**평가 지표**: 상대 $L_2$ 오차, 스펙트럼 오차, HF/LF 복원.
**데이터셋**: Burgers, Reaction–Diffusion, Allen–Cahn, Wave, Multimodal Wave 등 1D PDE 5개.
**훈련 설정**: 단일 훈련 시드, 100×100 격자에서 평가.

주요 결과

**Multimodal Wave 문제**: 주파수 분해로 상대 $L_2$ 오차 최대 59.2% 감소.
**1D Wave 문제**: 고정 결합 방식보다 DBSG-PINN 성능이 낮음.
**Reaction–Diffusion 문제**: 단일 주파수 문제임에도 불구하고 Full 모델이 모든 지표에서 Ablation 모델을 상회.
**LowOnly vs. HighOnly**: 네트워크 깊이와 너비가 일치하지 않아 정확한 비교 어려움.
**게이트 효과**: 문제의 스펙트럼 복잡도에 따라 Full 모델의 성능 우위가 커짐.

의의 및 한계

본 연구는 주파수 분해가 언제 유용한지에 대한 첫 탐색적 연구로, PINN의 스펙트럼 바이어스 문제를 해결하는 새로운 접근법을 제시한다. 특히, DBSG-PINN은 복잡한 스펙트럼 구조를 가진 문제에서 높은 성능을 보이며, 주파수 분해의 효과가 문제 유형에 따라 달라질 수 있음을 입증한다. 그러나 단일 훈련 시드 기반의 실험이므로 결과의 일반화 가능성은 제한된다. 또한, 게이트의 공간적 활성화를 시각화하거나 정량적으로 분석하지 못한 점이 한계로 지적된다.

실용적 활용

DBSG-PINN은 다중 주파수 성분을 포함하는 물리 시뮬레이션, 반응-확산 시스템, 파동 전파 문제 등에서 활용 가능하다. 특히, 복잡한 스펙트럼 구조를 가진 문제에서 기존 PINN보다 높은 정확도를 제공할 수 있어, 과학 머신러닝 분야에서 유용한 도구로 활용될 수 있다.