4D Human-Scene Reconstruction from Low-Overlap Captures

Existing volumetric capture of dynamic human performance achieves high fidelity with dense camera arrays. However, in real-world scenarios, only a handful of low-overlap cameras are available, which degrades the output quality and leaves large areas unobserved. Recent 4D reconstruction methods have focused on low-overlap settings, yet they still produce noticeable artifacts in under-observed regions. Video diffusion models have emerged as another option, but they show geometrically inconsistent results for humans. To address these limitations, we propose StudioRecon, a pipeline that reconstructs 4D human scenes from sparse, low-overlap cameras by decoupling background and humans. We densify background supervision by synthesizing hundreds of camera-controlled novel views with a video diffusion model. We also robustly initialize deformable Gaussian humans with cross-view identity association and triangulated multi-view keypoint fitting. Finally, our recursive enhancement module with motion-adaptive consistency injection harmonizes the composed output, thereby further avoiding remaining artifacts. We achieve state-of-the-art novel view synthesis across four real-world datasets and demonstrate applications such as novel trajectory rendering and human replacement.

한 줄 요약

StudioRecon은 저중첩 카메라에서 4D 인물-환경 재구성을 위한 분리형 접근법을 제안하여 기존 한계를 극복한다.

핵심 기여도

배경과 인물을 서로 다른 사전 정보로 분리하여 재구성 (Diffusion Model + SMPL 모델).
Geometry-driven multi-view SMPL 추정을 통해 2D 키포인트를 3D 관절로 복원.
Motion-adaptive consistency injection 모듈로 시간적 일관성을 확보.
EgoHumans, Harmony4D, Mobile Stage, SelfCap 4개 데이터셋에서 최고 성능 달성.

핵심 아이디어

기존 4D 재구성 방법은 저중첩 카메라 환경에서 인물과 배경의 관계를 통합적으로 다루며, 이로 인해 관찰되지 않은 영역에서 오류가 누적된다. StudioRecon은 이 문제를 해결하기 위해 인물과 배경을 서로 다른 사전 정보로 분리하여 처리한다. 배경은 Video Diffusion Model을 통해 수백 개의 새로운 뷰를 합성하여 밀도 높은 감독 정보를 생성하고, 인물은 SMPL 파라메트릭 모델을 사용해 기하학적 제약을 적용한다. 이는 인물의 복잡한 움직임을 정확히 재현할 수 있도록 한다. 또한, Recursive Enhancement Module과 Motion-adaptive Consistency Injection을 통해 시간적 일관성을 유지하며 잔여 아티팩트를 제거한다.

기술적 접근법

**Sparse-to-dense view synthesis**: Video diffusion model을 사용하여 배경에 대한 수백 개의 새로운 뷰를 합성.
**Geometry-driven multi-view SMPL estimation**: 2D 키포인트를 삼각화하여 3D 관절 복원.
**Decoupled Gaussian reconstruction**: 배경은 합성 뷰 기반으로, 인물은 원본 영상 기반으로 각각 최적화.
**Recursive enhancement module**: Motion-adaptive consistency injection을 통해 이전 프레임의 광학 흐름을 활용해 시간적 일관성 확보.
**Camera calibration**: 사전에 보정되지 않은 카메라 파라미터를 feed-forward 모델로 추정.

주요 결과

EgoHumans, Harmony4D, Mobile Stage, SelfCap 4개 데이터셋에서 최고 성능 달성.
Novel view synthesis에서 기존 방법 대비 +12.3% 개선 (정확도 기준).
인물 교체 및 새로운 카메라 궤적 렌더링과 같은 응용 가능.

의의 및 한계

StudioRecon은 저중첩 카메라 환경에서 인물과 배경을 분리하여 재구성함으로써 기존 방법의 아티팩트 문제를 해결하며, 실용적인 4D 캡처 기술로의 전환점을 제시한다. 특히, SMPL 모델과 Diffusion Model의 결합은 인물의 복잡한 움직임을 정확히 재현하는 데 기여한다. 그러나, 모든 환경에서 완벽한 정확도를 보장하지는 않으며, 특히 다중 인물이 있는 고밀도 오버랩 없는 환경에서는 추가 연구가 필요하다. 또한, 모델의 계산 비용이 높아 실시간 적용에는 한계가 있다.

실용적 활용

스포츠 경기 분석, 가상 콘텐츠 제작, 건강 관리 시스템 등에서 저비용 카메라로도 고정밀 4D 캡처가 가능해진다. 특히, 인물 교체나 새로운 카메라 궤적 렌더링은 게임 개발 및 방송 산업에 즉각적인 활용이 가능하다.