PhysGen: Rigid-Body Physics-Grounded Image-to-Video Generation

We present PhysGen, a novel image-to-video generation method that converts a single image and an input condition (e.g., force and torque applied to an object in the image) to produce a realistic, physically plausible, and temporally consistent video. Our key insight is to integrate model-based physical simulation with a data-driven video generation process, enabling plausible image-space dynamics. At the heart of our system are three core components: (i) an image understanding module that effectively captures the geometry, materials, and physical parameters of the image; (ii) an image-space dynamics simulation model that utilizes rigid-body physics and inferred parameters to simulate realistic behaviors; and (iii) an image-based rendering and refinement module that leverages generative video diffusion to produce realistic video footage featuring the simulated motion. The resulting videos are realistic in both physics and appearance and are even precisely controllable, showcasing superior results over existing data-driven image-to-video generation works through quantitative comparison and comprehensive user study. PhysGen's resulting videos can be used for various downstream applications, such as turning an image into a realistic animation or allowing users to interact with the image and create various dynamics. Project page: https://stevenlsw.github.io/physgen/

한 줄 요약

PhysGen은 단일 이미지와 물리 조건을 입력으로 받아, 현실적이고 물리적으로 타당한 동영상을 생성하는 이미지-투-비디오 생성 시스템이다.

핵심 기여도

**이미지 기반 물리 이해 모듈**을 통해 입력 이미지에서 기하학, 재질, 물리 파라미터를 추론함.
**이미지 공간 역학 시뮬레이션 모듈**을 통해 강체 역학, 마찰, 충돌 등을 고려한 현실적인 동작을 시뮬레이션함.
**생성적 비디오 디퓨전 기반 렌더링 모듈**을 통해 시뮬레이션된 운동을 기반으로 현실적인 비디오를 생성함.
**학습 없이 추론 단계에서만 작동**하며, 기존 데이터 기반 I2V 모델보다 물리적 타당성과 제어성을 향상시킴.

핵심 아이디어

기존 이미지-투-비디오 생성 모델은 데이터 기반 디퓨전 모델을 사용하여 비디오를 생성하지만, 물리적 원칙을 반영하지 못해 시간적 일관성과 현실성을 저하시킨다. PhysGen은 이 문제를 해결하기 위해 **모델 기반 물리 시뮬레이션**과 **데이터 기반 생성 모델**을 통합하는 새로운 패러다임을 제시한다.

핵심 아이디어는 입력 이미지에서 물리 파라미터를 추론하고, 이를 기반으로 강체 역학을 고려한 시뮬레이션을 수행한 후, 생성적 디퓨전 모델을 통해 시각적으로 현실적인 비디오를 생성하는 것이다. 이는 **이미지 기반 물리 이해 모듈**, **이미지 공간 역학 시뮬레이션 모듈**, **렌더링 및 정제 모듈**의 세 단계로 구성된다.

이러한 접근법은 **사전 학습된 시각 기초 모델**(large visual foundation models)을 활용하여 분할(segmentation), 정규 벡터 추정(normal estimation), 재질 이해 등을 수행함으로써, 물리적 파라미터를 정확히 추론할 수 있도록 한다. 이는 기존 모델에서 볼 수 없었던 **물리적 제어 가능성**(예: 힘, 토크 조절)을 제공한다.

기술적 접근법

**이미지 기반 물리 이해 모듈**: 입력 이미지에서 객체의 기하학, 재질, 물리 파라미터(예: 질량, 탄성, 표면 거칠기)를 추론함.
**이미지 공간 역학 시뮬레이션 모듈**: 입력된 힘(𝐅₀)과 토크(𝜏₀)를 기반으로 강체 역학, 충돌, 마찰, 탄성을 고려한 시뮬레이션을 수행함.
**렌더링 및 정제 모듈**: 시뮬레이션된 운동을 기반으로 생성적 비디오 디퓨전 모델을 사용하여 최종 비디오를 생성함.
**배경 인페인팅**(background inpainting): 이동한 객체가 남긴 배경 구멍을 복원하기 위해 오프-더-쉘프 인페인팅 모델을 사용함.
**학습 없이 추론 단계에서만 작동**하며, 기존 디퓨전 모델과 시뮬레이션 모델을 결합하여 **트레이닝 프리**(training-free) 방식으로 동작함.

주요 결과

**COCO 형식의 10개 복잡한 이미지**에서 118개의 이동 가능한 객체를 처리했으며, **정밀도 0.93, 재현율 0.82 (IoU 0.5 기준)**을 달성함.
**8가지 다른 물리적 절차**(object-object, object-scene 상호작용 포함)를 시뮬레이션하여 현실적인 결과를 보여줌.
사용자 조건(예: 힘, 토크)에 따라 **정밀한 제어가 가능**하며, **사용자 조사**(user study)를 통해 기존 모델 대비 **물리적 타당성과 시각적 사실성**이 우수함을 입증함.

의의 및 한계

PhysGen은 **단일 이미지에서 물리적 파라미터를 추론**하고, 이를 기반으로 **강체 역학을 고려한 시뮬레이션**을 수행함으로써, 기존 데이터 기반 I2V 모델의 한계를 극복한다. 이는 **물리적으로 타당하면서도 시각적으로 사실적인 비디오 생성**을 가능하게 하며, **사용자 조건에 따른 정밀한 제어**를 제공한다.

그러나, **입력 이미지가 강한 그림자**(shadow)를 포함할 경우, 배경 인페인팅 모델이 완전히 제거하지 못하는 한계가 있음. 또한, **복잡한 환경**(예: 유체 역학, 비강체 물리)은 아직 처리하지 못함. 이는 향후 연구 주제로 제시됨.

실용적 활용

PhysGen은 **사진 이미지를 현실적인 애니메이션으로 변환**, **사용자와의 상호작용을 통해 다양한 역학을 생성**하는 등 **콘텐츠 제작, 게임 개발, VR/AR 분야**에서 활용 가능하다. 또한, **교육용 시뮬레이션, 물리학 실험 시각화** 등 과학 및 교육 분야에서도 유용하게 사용될 수 있다.