MoSca: Dynamic Gaussian Fusion from Casual Videos via 4D Motion Scaffolds

We introduce 4D Motion Scaffolds (MoSca), a modern 4D reconstruction system designed to reconstruct and synthesize novel views of dynamic scenes from monocular videos captured casually in the wild. To address such a challenging and ill-posed inverse problem, we leverage prior knowledge from foundational vision models and lift the video data to a novel Motion Scaffold (MoSca) representation, which compactly and smoothly encodes the underlying motions/deformations. The scene geometry and appearance are then disentangled from the deformation field and are encoded by globally fusing the Gaussians anchored onto the MoSca and optimized via Gaussian Splatting. Additionally, camera focal length and poses can be solved using bundle adjustment without the need of any other pose estimation tools. Experiments demonstrate state-of-the-art performance on dynamic rendering benchmarks and its effectiveness on real videos.

한 줄 요약

MoSca는 4D 운동 구조를 기반으로 캐주얼 비디오에서 동적 장면을 재구성하고 새로운 뷰를 합성하는 시스템이다.

핵심 기여도

MoSca라는 새로운 4D 운동 표현 방식을 제안하여, 2D 기초 모델의 정보를 기반으로 3D 기하와 운동을 분리.
Gaussian Splatting을 활용한 전역적 Gaussian 융합을 통해 동적 장면을 효율적으로 재구성.
카메라 포즈와 초점 거리는 Bundle Adjustment를 통해 추정하며, COLMAP과 같은 외부 툴 없이도 가능.
DyCheck 데이터셋에서 최신 기법 대비 우수한 성능을 보임.

핵심 아이디어

MoSca는 캐주얼 단일 카메라 비디오에서 동적 장면을 재구성하는 데, 기존 2D 기초 모델(예: 깊이 추정, 트래킹)의 사전 정보를 활용한다. 이 정보를 기반으로 운동을 저차원, 부드러운 방식으로 표현하는 Motion Scaffold를 생성한다. 이는 물리 기반의 ARAP(As-Rigid-As-Possible) 변형 제약을 통해 최적화된다.

핵심 통찰은, 복잡한 3D 기하와 외관은 높은 주파수를 가지지만, 이들을 움직이는 운동은 저랭크(low-rank)이고 부드럽다는 점이다. MoSca는 이러한 운동을 희소한 그래프 노드로 표현하고, 이를 통해 시간에 따라 변하는 3D 가우시안들을 전역적으로 융합한다. 이는 Gaussian Splatting을 통해 렌더링 시점에 맞게 변형되어 완전한 장면을 재구성한다.

기술적 접근법

**MoSca (Sec. 3.2)**: 운동을 희소 그래프 노드로 표현하여, SE(3) 변형 필드로 확장.
**Gaussian Splatting (Sec. 3.4)**: 각 프레임에서 생성된 가우시안들을 변형 필드를 통해 타겟 시간으로 변환하고, 전역적으로 융합.
**Bundle Adjustment (Sec. 3.5)**: 카메라 포즈와 초점 거리는 렌더링 과정 중에 추정.
**ARAP 제약 (Sec. 3.3)**: 물리 기반의 변형 제약으로, 그래프 구조를 기반으로 효율적으로 적용.
**DQB (Sec. 3.3)**: 학습 가능한 스킨닝 가중치를 사용하여 세부 운동을 정확히 표현.

주요 결과

DyCheck 데이터셋에서 기존 최신 기법 대비 뛰어난 성능을 보임.
MoSca를 사용한 전역 융합(Gaussian fusion)이 국소 융합(N% 인접 프레임만 사용)보다 10% 이상 성능 향상.
COLMAP 없이도 카메라 포즈와 초점 거리를 정확히 추정 가능.
학습 가능한 스킨닝 가중치와 노드 제어가 없을 경우, 세부 운동(예: 기차의 작은 변형)을 정확히 재현하지 못함.

의의 및 한계

MoSca는 캐주얼 비디오에서 동적 장면을 재구성하는 데 있어, 기존 방법 대비 더 강력한 물리적 및 시각적 사전 정보를 활용하며, 전역적 융합을 통해 높은 정확도를 달성한다. 특히, COLMAP 없이도 카메라 파라미터를 추정하는 점에서 실용적 가치가 높다.

하지만, 매우 긴 비디오의 경우 MoSca의 융합 시간 반경을 조정해야 하며, 이는 추가적인 연구가 필요하다. 또한, 외부 2D 기초 모델의 예측에 의존하므로, 이러한 모델의 정확도가 최종 성능에 영향을 미칠 수 있다.

실용적 활용

MoSca는 캐주얼 비디오에서 동적 장면을 재구성하고 새로운 뷰를 생성하는 데 활용될 수 있다. 예를 들어, 드론 비행 영상, 스마트폰 촬영 영상, 드라마 촬영 장면 등에서 4D 재구성을 통해 보완 뷰를 생성하거나, VR/AR 환경에서 실시간 렌더링에 적용 가능하다.