PhyGenHOI: Physically-Aware 4D Generation of Dynamic Human-Object Interactions

We address the task of generating physically accurate and visually faithful 4D Human-Object Interaction (HOI). Given a static 3D human and target object represented as 3D Gaussian Splats (3DGS), our goal is to synthesize dynamic scenes where the human actively engages with the object through actions, such as punching or kicking, in accordance with a given input text. To this end, we introduce PhyGenHOI, a novel framework that couples generative human motion with an explicit physical object simulation. We model the human as a semantic agent driven by a Motion Diffusion Model (MDM) and the object as a physical agent simulated via the Material Point Method (MPM), utilizing 3D Gaussians as a unified, differentiable representation. We supervise their interaction through three coupled mechanisms: (1) A Windowed Attraction Loss that temporally synchronizes generative motion to intercept the object; (2) A Contact-Driven Re-simulation step that triggers physically consistent momentum transfer upon impact; and (3) A Masked Video-SDS objective that injects video-based priors to enhance contact fidelity. Experiments show PhyGenHOI generates physically consistent 4D HOI across diverse actions, humans, and objects, outperforming baselines. Project page and videos: https://omerbenishu.github.io/PhyGenHOI/

📋 한 줄 요약

**[4D HOI 생성 / 물리 시뮬레이션]** PhyGenHOI가 3DGS 인간·물체의 동적 상호작용을 MDM 의미 에이전트와 MPM 물리 에이전트로 결합, Windowed Attraction Loss·Contact-Driven Re-simulation·Masked Video-SDS 3 메커니즘으로 물리 일관 4D HOI 생성.

🎯 핵심 기여도

정적 3D 인간·target 물체(3D Gaussian Splat 표현)에서 텍스트 입력에 따라 펀치·킥 등 인간이 물체에 능동적으로 관여하는 동적 scene을 합성하는 4D Human-Object Interaction(HOI) 생성 과제 정의.
PhyGenHOI 프레임워크 — generative 인간 모션과 explicit 물리 물체 시뮬레이션을 coupling.
인간은 Motion Diffusion Model(MDM)이 구동하는 semantic agent, 물체는 Material Point Method(MPM)로 시뮬레이션되는 physical agent — 3D Gaussian을 unified·differentiable 표현으로 활용.
3 coupled 메커니즘으로 상호작용 supervise — (1) Windowed Attraction Loss로 생성 모션이 물체를 가로채도록 temporal 동기화, (2) Contact-Driven Re-simulation step으로 충돌 시 물리 일관 momentum transfer 발동, (3) Masked Video-SDS objective로 비디오 prior 주입해 contact fidelity 강화.

💡 핵심 아이디어

물리 정확·시각 충실 4D HOI는 generative 인간 모션과 explicit 물리 시뮬레이션의 단순 cascade가 아닌, 3D Gaussian을 공통 differentiable 표현으로 두고 attraction·re-simulation·video-SDS 3 coupling으로 두 에이전트를 동기화해야 달성된다.

🔬 기술적 접근법

**방법론**: PhyGenHOI — MDM semantic agent + MPM physical agent + 3 coupling 메커니즘.
**핵심 기법**: (1) 3D Gaussian Splat을 unified differentiable 표현으로 인간·물체 통합, (2) Motion Diffusion Model로 인간 의미 행동 생성, (3) Material Point Method로 물체 물리 시뮬레이션, (4) Windowed Attraction Loss로 contact timing 동기, Contact-Driven Re-simulation으로 충돌 시 운동량 전이, Masked Video-SDS로 contact 지점 시각 prior 주입, (5) 다양 인간·물체·동작에서 baseline 비교 평가.

📊 주요 결과

다양 인간·물체·동작(펀치·킥 등)에서 물리 일관 4D HOI 생성.
Baseline 대비 outperform.
Project page에서 video 결과 공개 — omerbenishu.github.io/PhyGenHOI/.
물리 일관성·시각 충실성 양면을 통합 평가.

💭 의의 및 한계

**의의**: 4D HOI에 explicit 물리 시뮬레이션을 통합하는 새 패러다임, 3DGS의 differentiable 표현으로 generative·시뮬레이션 결합, 충돌·momentum transfer의 명시적 모델링으로 시각만으로 어려운 물리 효과 재현. **한계**: MPM 시뮬레이션의 계산 비용, 펀치·킥류 강한 contact 외 미세 조작·도구 사용은 추가 검증, MDM·MPM 두 에이전트 간 hyperparameter 조정 부담.

🚀 실용적 활용

게임·VR의 물리 기반 캐릭터-물체 상호작용.
영화·애니메이션 4D HOI 합성.
로봇 학습용 물리 충실 합성 데이터.