Hand-Object Interaction (HOI) synthesis is a cornerstone for animation production and embodied AI. Despite the strong priors of video foundation models, multi-view consistent HOI synthesis remains challenging due to complex hand motions and occlusions. We present HarmoHOI, a unified diffusion framework that jointly and harmoniously generates synchronized multi-view HOI videos and globally aligned 3D point tracks. Our core insight is that robust multi-view consistency fundamentally requires globally aligned 3D geometry and motion. To this end, we propose a Mixture of Multi-view Diffusion Transformer that co-models RGB videos and 3D point tracks. By representing point tracks as pseudo-videos, we align 3D geometric signals with the 2D latent space of foundation models, thereby minimizing the domain gap and easing adaptation of priors. To further ensure geometry consistency, we introduce Global Motion Aligning Diffusion, which refines coarse point tracks into metric-scale, globally aligned 3D trajectories. HarmoHOI enables on-the-fly co-evolution of 2D appearance and 3D motion during denoising. To overcome the scarcity of multi-view HOI data, we employ a hybrid data curriculum learning strategy that successfully transfers generic priors from single-view data to synchronized multi-view generation. Experimental results show that HarmoHOI achieves state-of-the-art performance in visual quality, motion plausibility, and multi-view geometric consistency. Project page available at https://droliven.github.io/HarmoHOI_project.
한 줄 요약
HarmoHOI는 2D 비디오와 전역 3D 운동을 통합 생성하는 다중 뷰 핸드-오브젝트 상호작용 합성 프레임워크이다.
핵심 기여도
- **M 2 M² DiT** 모듈을 통해 RGB 비디오와 3D 포인트 트랙을 공동 생성.
- **GloMAD** 모듈을 도입해 3D 트랙을 전역 정렬된 메트릭 스케일로 정제.
- **하이브리드 데이터 커리큘럼 학습** 전략으로 단일 뷰 데이터에서 다중 뷰 생성으로의 전이 성공.
- TACO 데이터셋에서 다중 뷰 시각 품질, 운동 타당성, 기하 일관성에서 **최고 성능** 달성.
핵심 아이디어
기존 연구는 2D 비디오 생성에 집중하거나, 3D 정보를 외부 조건으로 사용하는 방식이 대부분이었다. 이에 반해, HarmoHOI는 2D 비디오와 3D 운동이 **동시에 생성되고 상호 보완**되어야 한다는 통찰을 바탕으로 설계되었다. 핵심 아이디어는 3D 기하학과 운동의 **전역 일관성**이 다중 뷰 일관성을 달성하는 데 필수적이라는 점이다. 이를 위해 3D 포인트 트랙을 "가상 비디오"로 표현하여, 기존 비디오 기반 모델의 잠재 공간과 일치시켜 도메인 간 격차를 줄였다.
기술적 접근법
- **M 2 M² DiT**: 사전 학습된 비디오 DiT를 기반으로 RGB 비디오와 3D 포인트 트랙을 공동 생성.
- 카메라 조건 임베딩, 인터뷰 조건 기하학적 어텐션, 양방향 상호 변조 기법 사용.
- **GloMAD**: 3D 포인트 트랙을 메트릭 스케일로 정제.
- 스케일 회귀 메커니즘과 생성적 디퓨전 과정에서의 인터뷰 기하학적 어텐션 적용.
- **하이브리드 데이터 커리큘럼 학습**: 단일 뷰 데이터로 사전 학습 후, 점진적으로 다중 뷰 데이터로 전이.
- TACO 데이터셋을 사용하며, 12개 뷰포인트로 제한됨.
주요 결과
- **TACO 데이터셋**에서 **다중 뷰 시각 품질**, **운동 타당성**, **기하 일관성**에서 기존 방법 대비 **최고 성능** 달성.
- **GloMAD 제거 시** 3D 운동 품질이 **감소** (Ablation Study, Tab. 3, row 3).
- **단일 뷰 학습 전이** 전략으로, **다중 뷰 생성 성능**을 안정적으로 달성.
- **비동기적 뷰포인트 생성**은 일관성을 **저하시킴** (Ablation Study, Tab. 3, row 1).
의의 및 한계
HarmoHOI는 2D 시각 정보와 3D 운동을 통합 생성하는 첫 번째 다중 뷰 핸드-오브젝트 상호작용 생성 프레임워크로, **물리 기반 비디오 월드 모델 구축**에 기여할 수 있다. 또한, **복잡한 가림 현상** 상황에서도 효과적으로 작동하며, **실시간 렌더링 및 시뮬레이션**에 활용 가능하다. 그러나, **TACO 데이터셋은 12개 뷰포인트까지만 제공**하며, **4D 가우시안 표현 학습을 위한 밀도 높은 데이터 수집**이 필요한 한계가 있다.
실용적 활용
HarmoHOI는 애니메이션 제작, 로봇의 신체 조작 학습, VR/AR 환경에서의 실시간 핸드-오브젝트 상호작용 시뮬레이션에 적용 가능하다. 특히, **복잡한 운동 패턴과 가림 현상이 있는 상황**에서의 생성 능력이 뛰어나, **실감 있는 3D 콘텐츠 제작**에 유용하다.