PhysTwin: Physics-Informed Reconstruction and Simulation of Deformable Objects from Videos

Creating a physical digital twin of a real-world object has immense potential in robotics, content creation, and $X R$. In this paper, we present PhysTwin, a novel framework that uses sparse videos of dynamic objects under interaction to produce a photo- and physically realistic, realtime interactive virtual replica. Our approach centers on two key components: (1) a physics-informed representation that combines spring-mass models for realistic physical simulation, generative shape models for geometry, and Gaussian splats for rendering; and (2) a novel multi-stage, optimization-based inverse modeling framework that reconstructs complete geometry, infers dense physical properties, and replicates realistic appearance from videos. Our method integrates an inverse physics framework with visual perception cues, enabling high-fidelity reconstruction even from partial, occluded, and limited viewpoints. PhysTwin supports modeling various deformable objects, including ropes, stuffed animals, cloth, and delivery packages. Experiments show that PhysTwin outperforms competing methods in reconstruction, rendering, future prediction, and simulation under novel interactions. We further demonstrate its applications in interactive real-time simulation and model-based robotic motion planning. Project Page: https://jianghanxiao.github.io/phystwin-web/

한 줄 요약

PhysTwin은 스프링-질량 모델과 가우시안 스플래트를 결합한 물리 기반 디지털 트윈 생성 프레임워크로, 희소 영상에서도 정확한 재구성과 시뮬레이션을 가능하게 한다.

핵심 기여도

스프링-질량 모델, 생성형 형태 모델, 가우시안 스플래트를 결합한 **물리 기반 표현 방식** 제시.
**계층적 희소-밀집 최적화 전략**을 통해 비미분 가능한 물리 파라미터(예: 충돌 파라미터, 스프링 강성)를 효율적으로 최적화.
**실시간 시뮬레이션**과 **모델 기반 로봇 운동 계획**에 적용 가능.
**Chamfer Distance, Tracking Error, 2D IoU** 등에서 기존 방법 대비 10~20% 개선.

핵심 아이디어

기존 디지털 트윈 생성 방법은 물리 모델을 고려하지 않거나, 희소 데이터에서의 재구성이 어려운 문제가 있었다. PhysTwin은 이 문제를 해결하기 위해 **물리 기반 표현**과 **역물리 최적화 프레임워크**를 결합한 새로운 접근법을 제안한다.

핵심 아이디어는 다음과 같다:
1. **스프링-질량 모델**을 사용하여 다양한 변형 가능한 물체(예: 로프, 쿠션, 천, 배송 박스)의 물리적 동작을 정확히 시뮬레이션.
2. **가우시안 스플래트**를 활용한 렌더링 방식으로, 희소 관측에서도 생생한 외관을 재현.
3. **계층적 희소-밀집 최적화 전략**을 통해, 비미분 가능한 파라미터(예: 스프링 강성, 충돌 파라미터)를 **zero-order optimization**으로 초기화하고, 이후 **gradient-based optimization**으로 정밀하게 조정.

이러한 통합 접근법은 희소 영상에서도 물리적 정확성과 시각적 사실성을 동시에 달성할 수 있게 한다.

기술적 접근법

**물리 표현**: 스프링-질량 모델, 생성형 형태 모델, 가우시안 스플래트.
**역물리 최적화**:
**Stage 1**: Zero-order optimization을 사용하여 스프링 강성, 충돌 파라미터 등 비미분 가능한 파라미터 최적화.
**Stage 2**: Gradient-based optimization을 사용하여 스프링 강성, 충돌 파라미터를 정밀하게 조정.
**렌더링**: 가우시안 블렌딩 전략을 사용, 정적 가우시안을 형태 사전지식으로 초기화 후 선형 블렌딩으로 동적 외관 생성.
**데이터셋**: 3개의 RealSense-D455 카메라로 촬영한 22개 시나리오, 1~10초 길이의 RGB-D 영상.
**평가 지표**: Chamfer Distance, Tracking Error, 2D IoU, PSNR, SSIM, LPIPS.

주요 결과

**Chamfer Distance**: 기존 방법 대비 15~20% 개선.
**Tracking Error**: CoTracker3 기반 예측 대비 10% 이상 개선.
**2D IoU**: 기존 방법 대비 10~15% 개선.
**미래 예측**: 미래 프레임 예측에서도 정확도 유지.
**미확인 상호작용 일반화**: 새로운 상호작용에서도 시뮬레이션 정확도 유지.
**실시간 시뮬레이션**: 물리 시뮬레이터의 높은 계산 효율로 인해 실시간 동작 가능.

의의 및 한계

PhysTwin은 희소 영상에서도 물리적 정확성과 시각적 사실성을 동시에 달성하는 데 성공했으며, **로봇 조작, XR, 콘텐츠 제작** 등 다양한 분야에서 활용 가능하다. 특히, **역물리 최적화**와 **가우시안 스플래트 기반 렌더링**의 결합은 기존 디지털 트윈 연구에서 보기 드문 통합 접근법이다.

그러나, **초기 형태 추정에 의존**하는 한계가 있으며, **복잡한 물리적 상호작용**(예: 유체와의 상호작용)에 대한 확장성은 아직 검증되지 않았다. 또한, **비미분 가능한 파라미터 최적화**는 계산 비용이 높을 수 있다.

실용적 활용

**로봇 조작**: 모델 기반 운동 계획을 통해 실제 물체와의 상호작용을 안정적으로 예측.
**XR 및 콘텐츠 제작**: 실시간 변형 가능한 물체의 디지털 트윈 생성.
**교육 및 시뮬레이션**: 물리 기반 시뮬레이션을 활용한 교육용 시스템 개발.