PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation

Realistic object interactions are crucial for creating immersive virtual experiences, yet synthesizing realistic 3D object dynamics in response to novel interactions remains a significant challenge. Unlike unconditional or text-conditioned dynamics generation, action-conditioned dynamics requires perceiving the physical material properties of objects and grounding the 3D motion prediction on these properties, such as object stiffness. However, estimating physical material properties is an open problem due to the lack of material ground-truth data, as measuring these properties for real objects is highly difficult. We present PhysDreamer, a physics-based approach that endows static 3D objects with interactive dynamics by leveraging the object dynamics priors learned by video generation models. By distilling these priors, PhysDreamer enables the synthesis of realistic object responses to novel interactions, such as external forces or agent manipulations. We demonstrate our approach on diverse examples of elastic objects and evaluate the realism of the synthesized interactions through a user study. PhysDreamer takes a step towards more engaging and realistic virtual experiences by enabling static 3D objects to dynamically respond to interactive stimuli in a physically plausible manner. See our project page at https://physdreamer.github.io/.

한 줄 요약

PhysDreamer는 3D 객체에 물리 기반 상호작용을 부여하여 새로운 자극에 대한 현실적인 동작을 생성하는 시스템이다.

핵심 기여도

3D Gaussian 기반 객체 표현과 MPM 시뮬레이션을 결합하여 물리적 재질 특성을 추정.
비디오 생성 모델에서 학습된 동작 사전지식(distilled priors)을 활용하여 정적 3D 객체에 동적 반응 부여.
사용자 연구에서 기존 방법 대비 80.8%의 2AFC 샘플에서 움직임 현실감 우수성 입증.
1초당 약 1분의 GPU 계산 시간 소요 (NVIDIA V100 기준).

핵심 아이디어

기존 3D 객체는 정적 상태로 표현되며, 외부 자극에 대한 동적 반응을 생성하는 것은 여전히 어려운 문제였다. PhysDreamer는 이 문제를 해결하기 위해, 비디오 생성 모델에서 학습된 객체 동작 패턴을 추출하여 정적 3D 객체에 물리적 재질 특성을 추정하고, 이를 기반으로 현실적인 동작을 시뮬레이션한다. 이 접근은 재질 데이터가 부족한 상황에서도, 객체의 외형과 동작 간의 관계를 학습한 모델을 통해 재질 특성을 추론할 수 있다는 점에서 혁신적이다. 핵심적으로, 3D Gaussian 표현과 Material Point Method (MPM)를 결합하여, 객체의 변형과 운동을 정확히 시뮬레이션하며, Cauchy 응력 공식을 사용한 탄성 재질 모델링을 통해 물리적 일관성을 유지한다.

기술적 접근법

**객체 표현**: 3D Gaussian을 사용하여 객체를 표현.
**물리 시뮬레이션**: MPM (Material Point Method)를 적용하여 탄성 재질의 변형과 운동을 시뮬레이션.
**재질 추정**: 비디오 생성 모델에서 학습된 동작 패턴을 활용하여 객체의 공간적 변이 재질 특성 (Young’s modulus 등)을 추정.
**최적화**: 픽셀 공간 관찰과 일치시켜 재질 필드와 초기 속도 필드를 직접 최적화.
**하이퍼파라미터**: 시뮬레이션 단계에서 Δx, Δt 사용.
**에너지 함수**: 코로테이트 하이퍼탄성 모델을 사용하여 변형 에너지를 계산.

주요 결과

**사용자 연구 결과**:
PhysGaussian 대비 80.8%의 2AFC 샘플에서 움직임 현실감 우수.
DreamGaussian4D 대비 70.0%의 2AFC 샘플에서 시각 품질 우수.
73.6%의 2AFC 샘플에서 움직임의 양(motion amount)에서 우수.
**실제 영상 대비**: 53.7%의 2AFC 샘플에서 움직임 현실감 우수.
**특이 현상**: Alocasia 객체의 경우, MPM이 저주파수, 느린 움직임을 생성하여 사용자에게 더 자연스럽게 느껴짐.

의의 및 한계

PhysDreamer는 정적 3D 객체에 물리적 상호작용을 부여함으로써, 가상 환경의 현실감과 몰입감을 크게 향상시킨다. 특히, 재질 데이터가 부족한 상황에서도 비디오 생성 모델을 활용한 재질 추정이 가능하며, 이는 다양한 시뮬레이션 및 인터랙티브 애플리케이션에 활용될 수 있다. 그러나, 사용자는 시뮬레이션 대상 객체를 수동적으로 지정해야 하며, 경계 조건 설정이 필요하다는 점에서 제약이 있다. 또한, 1초당 약 1분의 GPU 계산 시간이 소요되어 계산 효율성 향상이 필요하다. 현재는 충돌이 없는 탄성 객체에만 적용되며, 복잡한 물리 상호작용을 다루는 데 한계가 있다.

실용적 활용

PhysDreamer는 게임 개발, VR/AR 환경 구축, 디지털 콘텐츠 제작 등에서 현실적인 객체 동작을 생성하는 데 활용될 수 있다. 특히, 사용자와의 상호작용에 따라 객체가 물리적으로 반응하는 시뮬레이션을 구현할 수 있어, 몰입형 가상 환경 개발에 기여할 수 있다.