PhysLDM: Latent Diffusion for High-Fidelity Deformable Simulation

Neural simulation of high-fidelity deformable bodies is a foundational challenge in computer graphics and physical AI. Long-horizon prediction for high-resolution 3D volumetric meshes is hard: autoregressive methods are prone to error accumulation, while direct multi-frame prediction at native resolution is computationally prohibitive. This motivates a compact spatiotemporal latent representation, which is largely unexplored for mesh-based volumetric physics. Meanwhile, it remains unclear whether deterministic regression or generative diffusion is the more suitable predictive paradigm. To address these coupled challenges, we introduce PhysLDM, a unified latent-diffusion paradigm for one-shot deformable simulation. Its core is a holistic spatiotemporal VAE that avoids the "staircase" artifacts of standard temporal compression (e.g., video VAEs), achieving ~2.48 mm reconstruction precision on meter-scale scenes at up to 78x token compression. Based on this reliable latent space, we systematically compare regression and diffusion methods. Our experiments uncover a key modeling insight: complex deformable dynamics are often chaotic, and in this regime deterministic regression tends to produce non-physical averages, whereas diffusion better models their distribution. Accordingly, we employ a latent diffusion model that effectively learns from chaotic data to generate physically plausible trajectories. Trained purely kinematically on an Objaverse-scale dataset, a single PhysLDM generalizes zero-shot to unseen OOD datasets. Its differentiability further enables efficient solution of inverse problems and higher-order design optimization. To our knowledge, PhysLDM is the first high-fidelity spatiotemporal autoencoder and latent-diffusion paradigm for volumetric deformable dynamics, offering a scalable and robust approach to neural simulation. Project Page: https://yucrazing.github.io/physldm/

한 줄 요약

PhysLDM은 고해상도 3D 볼륨 메시의 변형 시뮬레이션을 위해 설계된 라티언트 디퓨전 모델로, 2.48 mm 재구성 정확도와 78× 토큰 압축을 달성한다.

핵심 기여도

**ST-VAE**를 통해 78× 토큰 압축을 달성하면서 2.48 mm의 재구성 정확도를 유지.
**확정적 회귀 vs. 디퓨전** 비교 실험을 통해 디퓨전이 복잡한 변형 역학의 분포를 더 잘 모델링함을 밝힘.
**Objaverse-scale 데이터셋**에서 훈련한 단일 모델이 GSO, Toys4K 등 OOD 데이터셋에 제로샷 일반화됨.
**미분 가능성**을 통해 역 문제 해결 및 고차원 설계 최적화 가능.

핵심 아이디어

고해상도 볼륨 메시의 장기적 변형 예측은 기존 자동회귀 모델이 오류 누적으로 인해 실패하거나, 고해상도에서 계산 비용이 지나치게 높아지는 문제를 안고 있다. 이에 따라, PhysLDM은 **스페이셜-스페이시오템포럴 VAE (ST-VAE)**를 통해 복잡한 변형 역학을 라티언트 공간으로 압축하고, 이를 기반으로 디퓨전 모델이 물리적으로 타당한 미래 경로를 생성한다. 특히, **ST-VAE는 빌딩 블록으로 "rigid motion"과 "local deformation"을 분리**하여, 기존 비디오 VAE가 유발하는 "staircase artifact"를 제거한다.

또한, **복잡한 변형 역학은 카오스적 특성을 가지므로**, 확정적 회귀가 평균적인 비물리적 결과를 내는 반면, 디퓨전은 다양한 가능한 미래 경로를 분포로 표현할 수 있다는 통찰을 제시한다. 이는 **GPU 기반 물리 솔버에서도 미세한 비결정성이 카오스에 의해 크게 증폭**될 수 있음을 실험적으로 입증한 결과이다.

기술적 접근법

**ST-VAE**:
**Spatial VAE**는 고정 크기의 K개 토큰으로 메시를 압축.
**Holistic temporal compression**을 통해 "staircase artifact" 제거.
**Rigid motion**과 **local deformation**을 분리하여 복잡도를 줄임.
**78× 토큰 압축**을 달성하면서 2.48 mm의 재구성 정확도 유지.
**LDM (Latent Diffusion Model)**:
**Flow-matching 기반 DiT (Diffusion Transformer)** 사용.
**AdaLN**으로 초기 자세, 속도, 강성 조건 반영.
**GNN (Graph Neural Network)**을 통해 테트라 메시 상에서 정점 정제.
**훈련 데이터**: Objaverse-scale 시뮬레이션 데이터셋 사용.
**입력**: 64 프레임의 메시 경로를 1회 디퓨전 패스로 예측.

주요 결과

**ST-VAE**: 78× 토큰 압축에서 2.48 mm의 재구성 정확도 달성.
**GSO, Toys4K 데이터셋**에서 **제로샷 일반화 성능** 보임.
**확정적 회귀** 대비 **디퓨전 모델이 카오스적 데이터에서 더 물리적 경로 생성**.
**단일 모델**이 다양한 OOD 데이터셋에 일반화됨.
**미분 가능성**으로 **역 문제 해결 및 고차원 설계 최적화 가능**.

의의 및 한계

PhysLDM은 고해상도 볼륨 메시의 변형 시뮬레이션에 있어 **첫 번째 라티언트 디퓨전 기반 모델**이며, 기존 자동회귀 및 고해상도 직접 예측 방식의 한계를 극복한다. 특히, **ST-VAE의 holistic 압축 전략**은 기존 비디오 VAE가 가지는 staircase artifact를 제거하며, **디퓨전 모델의 분포 기반 예측**은 카오스적 역학을 더 잘 모델링한다.

하지만, 현재 모델은 **64 프레임의 경로를 단일 디퓨전 패스로 예측**하는 데 초점을 맞추고 있어, 장기적 예측을 위한 **자동회귀 확장**이 필요하다는 한계가 있다. 또한, **복잡한 물리적 상호작용**을 포함한 더 다양한 시나리오에 대한 평가가 추가적으로 필요하다.

실용적 활용

PhysLDM은 **컴퓨터 그래픽스, 로봇공학, 엔지니어링 시뮬레이션** 등에서 고해상도 변형 시뮬레이션을 빠르고 정확하게 수행할 수 있는 도구로 활용 가능하다. 특히, **미분 가능한 모델 구조**는 **역 문제 해결 및 설계 최적화**에 있어 기존 물리 솔버의 계산 복잡도를 감소시키는 데 기여할 수 있다.