Synthesizing a novel-view video from a monocular reference video along a target camera trajectory requires both geometric consistency and motion fidelity with respect to the reference video. Existing methods based on explicit 3D representations are limited by the accuracy of off-the-shelf reconstruction modules, which often produce inaccurate geometry for dynamic objects in monocular videos. In contrast, camera-conditioning-only methods can achieve high visual quality but often struggle to preserve geometric and motion consistency. In this work, we introduce MVTrack4Gen (Multi-View point Tracking for Novel-View Generation), a motion-aware training framework that leverages multi-view point tracking as an additional geometric and motion supervision signal for camera-conditioning-only novel-view video diffusion models. Our key finding is that specific attention layers encode strong correspondence cues, where query features attend to key features at geometrically corresponding locations across views and over time, and the misalignment of these correspondences causes motion inconsistency. Based on this observation, we route these features into an auxiliary multi-view tracking head and jointly train the diffusion model with a point-tracking objective. By explicitly strengthening these motion-aware correspondences, MVTrack4Gen improves existing models to better follow the motion in the reference view and maintain cross-view geometric consistency. Across diverse benchmarks, our method achieves state-of-the-art geometric consistency and competitive camera accuracy.
한 줄 요약
MVTrack4Gen은 4D 동영상 생성에서 기하 일관성과 운동 정확도를 향상시키기 위해 다중 뷰 포인트 추적을 활용한 훈련 프레임워크이다.
핵심 기여도
- MVTrack4Gen은 기하학적 일관성과 운동 일관성을 동시에 강화하기 위해 다중 뷰 포인트 추적을 기하학적 감독 신호로 사용.
- 특정 어텐션 레이어가 강력한 대응 정보를 인코딩한다는 점을 발견하고, 이를 기반으로 보조 추적 헤드를 설계.
- 기존 카메라 조건 기반 모델과 결합하여, 기하학적 정확도를 향상시키며, 기존 모델 대비 1.6× 가속.
- 다양한 벤치마크에서 기하학적 일관성에서 최상의 성능을 달성.
핵심 아이디어
기존의 3D 재구성 기반 방법은 동적 객체에 대한 정확도가 낮고, 카메라 조건 기반 방법은 시각 품질은 높지만 기하학적 일관성이 부족한 문제가 있다. MVTrack4Gen은 이 두 접근법의 한계를 극복하기 위해, 특정 어텐션 레이어에서 추출된 대응 정보를 활용하여, 기하학적 일관성을 강화하는 새로운 훈련 프레임워크를 제안한다. 이는 시간과 뷰에 걸쳐 기하학적으로 대응하는 위치에 대한 어텐션이 운동 일관성을 결정한다는 통찰에서 비롯된다.
기술적 접근법
- 기존 카메라 조건 기반 비디오 디퓨전 모델에 보조 멀티뷰 추적 헤드를 추가.
- 특정 어텐션 레이어에서 추출된 키-쿼리 특징을 추적 헤드로 라우팅.
- 디퓨전 모델과 함께 포인트 추적 목적 함수를 결합하여 훈련.
- 추적 손실은 기하학적 대응 관계를 강화하여 운동 일관성을 개선.
주요 결과
- 다양한 벤치마크에서 기하학적 일관성에서 기존 최고 성능 달성.
- 카메라 정확도는 기존 모델 대비 경쟁력 있는 수준 유지.
- 기존 모델 대비 1.6× 가속화된 추론 속도 보고.
의의 및 한계
MVTrack4Gen은 기하학적 일관성과 운동 정확도를 동시에 향상시키는 새로운 훈련 프레임워크로, 4D 동영상 생성 분야에 기술적 기반을 제공한다. 특히, 기존 모델의 한계를 보완하면서도 추가적인 복잡한 3D 재구성 모듈 없이도 성능을 향상시킨다는 점에서 실용적 가치가 있다. 그러나 동적 객체의 복잡한 운동 패턴에 대해서는 한계가 있을 수 있으며, 이는 추후 연구 주제로 제시된다.
실용적 활용
MVTrack4Gen은 가상 현실, 영화 제작, 자율 주행 시스템 등에서 새로운 뷰 동영상 생성이 필요한 상황에 적용 가능하다. 특히, 정확한 기하학적 일관성을 요구하는 산업 분야에서 유용하게 활용될 수 있다.