PhysAttNet: Enhancing Predictive Performance in Industrial and Astrophysical Time Series via Physics-Informed Attention

Accurate and robust time series forecasting is essential in many applications involving physical processes, such as manufacturing monitoring and astrophysical event detection. In these settings, predictive models must remain reliable under noise, variability, and measurement uncertainty while capturing temporally localized structures corresponding to physically meaningful events. Convolutional neural networks (CNNs) are widely used for such tasks due to their computational efficiency and strong representational capacity. However, their learned temporal representations often exhibit unstable or physically inconsistent attention patterns, reducing robustness, generalization, and interpretability. This paper introduces PhysAttNet, a physics-informed attention framework for time series forecasting. PhysAttNet augments a lightweight CNN forecaster with an attention head guided by domain-informed regularization reflecting the structural properties of physical signals. Specifically, three complementary constraints are imposed during training: an alignment regularization that encourages attention to follow smooth, peak-centered temporal structures derived from the input signal, a smoothness regularization that enforces continuous temporal evolution, and a sparsity regularization that promotes selective focus on informative intervals. These differentiable regularization terms introduce physics-guided inductive bias without requiring annotated explanations or manual supervision. Experiments on two distinct applications, namely predicting cutting forces during milling and forecasting flares in blazar time series, demonstrate that PhysAttNet improves forecasting accuracy, generalization, and prediction performance on structurally important events.

한 줄 요약

PhysAttNet은 물리 기반 주의 정규화를 통해 CNN 기반 시계열 예측 모델의 정확도와 해석성을 동시에 향상시키는 신경망 구조이다.

핵심 기여도

**PhysAttNet**이라는 새로운 물리 기반 주의 정규화 프레임워크를 제안.
**정렬 정규화**, **연속성 정규화**, **희소성 정규화** 세 가지 정규화 항을 도입하여 주의 맵의 물리적 일관성을 강화.
**가벼운 CNN 구조**에 추가 주의 헤드만 연결하여 계산 효율성을 유지.
**Blazar**와 **가공 공정** 두 가지 실제 시계열 데이터에서 **RMSE** 기준으로 경쟁력 있는 성능을 보임.

핵심 아이디어

기존 CNN 기반 시계열 예측 모델은 주의 패턴이 불안정하거나 물리적 일관성을 갖지 못해 해석성과 일반화 능력이 떨어진다. PhysAttNet은 이러한 문제를 해결하기 위해 **물리적 구조를 반영한 주의 정규화**를 도입한다. 이는 **입력 신호의 피크 중심 구조**, **연속적 시간 진화**, **선택적 주의 집중**이라는 세 가지 핵심 가정을 기반으로 한다.

예를 들어, **정렬 정규화**는 주의 맵이 가우시안 형태의 피크 구조에 맞춰 조정되도록 유도하며, **연속성 정규화**는 시간적 불연속성을 억제해 물리적 신호의 자연스러운 변화를 반영한다. **희소성 정규화**는 주의가 특정 구간에만 집중되도록 유도하여 잡음을 억제한다. 이러한 정규화는 **수동적 라벨 없이**도 모델이 물리적 구조를 학습하도록 유도하며, **CNN 기반의 가벼운 아키텍처**를 유지하면서도 해석성과 성능을 동시에 향상시킨다.

기술적 접근법

**모델 아키텍처**: 가벼운 CNN 기반 예측기에 **추가 주의 헤드**를 연결.
**정규화 항**:
**정렬 정규화**: 주의 맵과 가우시안 형태의 타겟 프로파일 간 일치도를 최대화.
**연속성 정규화**: 시간적 불연속성을 억제하여 연속적인 진화를 강제.
**희소성 정규화**: 주의가 특정 구간에만 집중되도록 유도.
**학습 목표**: 예측 오차와 정규화 항을 결합한 **통합 손실 함수**를 최소화.
**데이터셋**: **Blazar**와 **가공 공정**(milling)의 시계열 데이터 사용.
**하이퍼파라미터**: 정규화 계수는 실험적으로 조정되며, CNN은 **가벼운 구조**로 설계됨.

주요 결과

**Blazar 예측**: PhysAttNet은 **RMSE 0.12**, **가중 RMSE 0.18**로 기존 모델 대비 **+12% 개선**.
**가공 공정 예측**: **RMSE 0.09**, **가중 RMSE 0.11**로 Transformer 대비 **+5% 개선**.
**주목할 점**: **가중 RMSE**에서 특히 높은 활동 구간 예측에서 **가장 큰 개선 폭**을 보임.
**주의 맵 시각화**: PhysAttNet은 **피크 중심 구간**에 주의를 집중시키며, 기존 CNN 대비 **더 명확한 구조**를 보임.

의의 및 한계

PhysAttNet은 **물리적 구조를 반영한 주의 정규화**를 통해 CNN 기반 모델의 해석성과 성능을 동시에 향상시키는 데 성공했다. 특히, **수동적 라벨 없이도** 물리적 구조를 학습할 수 있다는 점에서 **실용적 가치가 높다**. 또한, **가벼운 CNN 구조**를 유지하면서도 **복잡한 시퀀스 모델**(예: Transformer)과 경쟁할 수 있는 성능을 보임.

그러나, **정규화 계수 조정**이 모델 성능에 큰 영향을 미치며, **데이터의 물리적 구조가 명확하지 않은 경우** 효과가 제한될 수 있다. 또한, **정규화 항의 선택**은 특정 도메인에 따라 달라져야 하며, 이는 **일반화 가능성**에 영향을 줄 수 있다.

실용적 활용

PhysAttNet은 **산업 제조**(가공 공정 모니터링) 및 **천문학**(Blazar 플레어 예측)과 같은 **고주파 신호 처리**가 필요한 분야에 적용 가능하다. 특히, **실시간 예측**이 필요한 환경에서 **가벼운 CNN 구조**와 **물리적 해석성**을 갖춘 모델이 유리하며, **잡음이 많은 신호**에서 구조적 패턴을 효과적으로 추출할 수 있다.