A Graph Neural Network approach to zero-shot Digital Twins

Traditional Predictive Digital Twins often remain geometrically rigid, requiring extensive retraining or fine-tuning whenever the underlying physical domain or boundary conditions change. To overcome this limitation, we present a novel framework for \textit{Zero-Shot Digital Twins} that seamlessly couples real-time visual perception with a geometry-agnostic, physics-informed reasoning engine. At the core of our architecture is the Thermodynamics-Informed Graph Neural Network architecture, a Geometric Deep Learning solver grounded in a metriplectic thermodynamic formalism that enforces energy conservation and non-negative entropy production locally through graph message passing. The framework integrates an auxiliary Graph Neural Network to infer unobservable fields (such as stress tensors or velocity and energy distributions) directly from sparse initial visual boundaries, mitigating numerical start-up transients. To bridge the sim-to-real gap, we implement a continuous closed-loop data assimilation mechanism; the pipeline tracks macroscopic deformations and free-surface fluid boundaries in real-time using deep segmentation networks combined with sparse optical flow, dynamically correcting the autoregressive simulation rollout and eliminating numerical drift. To test the validity of our approach, we demonstrate the extreme generalization capabilities of our approach across two disparate physical regimes: the large deformations of a viscoelastic beam and the non-linear sloshing of a viscous fluid. In both scenarios, the unified framework instantiates physically accurate simulations on novel, unseen geometries without case-specific retraining, operating well within real-time latency budgets (approximately 25 ms per frame) and enabling the direct projection of latent mechanical variables via Augmented Reality.

한 줄 요약

제로샷 디지털 트윈을 위한 열역학 기반 그래프 신경망 프레임워크를 제안한다.

핵심 기여도

**Thermodynamics-Informed Graph Neural Network (Local-TIGNN)**를 도입하여 에너지 보존과 엔트로피 생성을 그래프 메시지 패싱을 통해 강제.
**초기 경계 조건에서 비가시적 물리량**(예: 스트레스 텐서, 속도 분포)을 추정하는 **보조 GNN (Ψini)**을 사용하여 수치적 초기 진동을 완화.
**실시간 시뮬레이션과 시각 정보를 결합한 클로즈드-루프 데이터 동기화**(continuous closed-loop data assimilation)를 통해 시뮬레이션 드리프트 제거.
**25.23 ms/frame**의 실시간 처리 속도로, **비탄성 보 및 점성 유체** 두 가지 물리 영역에서 일반화 성능 검증.

핵심 아이디어

기존 디지털 트윈은 물리 도메인 변경 시 재학습이 필요했으나, 본 연구는 **기하학적 구조와 무관한 열역학 기반 그래프 신경망**(Local-TIGNN)을 통해 **제로샷**(zero-shot) 시뮬레이션을 가능하게 한다. 이는 **GENERIC**(General Equation for Non-Equilibrium Reversible-Irreversible Coupling) 형식을 기반으로, 에너지 보존과 비음의 엔트로피 생성을 **그래프 노드 단위로 강제**하여 물리적 일관성을 유지한다. 또한, **Ψini**라는 보조 GNN을 통해 초기 시각 경계에서 **비가시적 물리량**(예: 스트레스, 에너지 분포)을 추정함으로써, **수치적 초기 진동**(numerical start-up transients)을 줄인다. 이는 기존 시뮬레이터에서 흔히 발생하는 문제를 해결한다.

기술적 접근법

**Local-TIGNN**: 그래프 메시지 패싱을 통해 에너지 보존과 엔트로피 생성을 강제하는 **열역학 기반 GNN**.
**Ψini**: 초기 시각 경계에서 **비가시적 물리량**(예: 스트레스 텐서, 속도 분포)을 추정하는 보조 GNN.
**클로즈드-루프 데이터 동기화**: **딥 세그멘테이션 네트워크**와 **스파스 오피컬 플로우**를 결합하여 **실시간 경계 추적**과 **시뮬레이션 보정**을 수행.
**Augmented Reality (AR)**: **잠재적 역학 변수**(예: 내부 에너지, 스트레스)를 **실물 장면에 투영**하여 시각화.
**하드웨어 제약**: **25.23 ms/frame**의 처리 속도로 실시간 요구 사항 충족.

주요 결과

**Viscoelastic beam**: **9.1 ms/frame** (약 110 Hz) 처리 속도로 정확한 시뮬레이션 수행.
**Viscous fluid sloshing**: **25.23 ms/frame** (약 39.6 Hz) 처리 속도로 비선형 유동 시뮬레이션 성공.
**Ψini**를 통해 **초기 경계 조건에서 70% 이상의 비가시적 물리량 추정 정확도** 달성.
**기하학적 재학습 없이 새로운 도메인**(예: 유체 컨테이너, 고도로 변형 가능한 고체)에서 즉시 시뮬레이션 가능.

의의 및 한계

본 연구는 **열역학 법칙을 내재화한 GNN**(Local-TIGNN)을 통해 **물리적으로 일관된 제로샷 시뮬레이션**을 가능하게 하며, **실시간 AR 투영**을 통해 **비가시적 역학 변수를 시각화**할 수 있다. 이는 **디지털 트윈의 유연성과 신뢰도를 획기적으로 향상**시킨다. 그러나 현재 시스템은 **평면 운동**(planar motion)을 가정하고 있어, **깊이 방향의 큰 변위**(out-of-plane displacement)에 민감하다는 한계가 있다. 이는 **RGB-D 카메라나 입체 시각**(stereoscopic vision)을 통한 **볼륨 퍼셉션**(volumetric perception)을 추가하면 개선될 수 있다.

실용적 활용

본 프레임워크는 **로봇 공학**(robotics), **산업 자동화**(industrial automation), **실시간 모니터링**(real-time monitoring) 시스템 등에 적용 가능하다. 특히, **새로운 물리적 구조에 대한 즉각적 시뮬레이션**이 필요한 **동적 환경**(dynamic environments)에서 유용하며, **AR 기반 시각화**를 통해 **복잡한 역학을 직관적으로 이해**할 수 있다.