MetaView: Monocular Novel View Synthesis with Scale-Aware Implicit Geometry Priors

Current visual generation models are capable of producing high-quality content, yet they lack a coherent perception of the spatial structure. Existing generative novel view synthesis methods typically introduce explicit geometry priors, which enforce spatial consistency but inherently restrict generalization in large view changes. In contrast, recent interactive generative methods favor implicit scene modeling, offering greater flexibility at the cost of precise camera control and geometry consistency. In this paper, we propose MetaView, a diffusion-based monocular novel view synthesis framework that enables rendering under large view changes from a single image. Our key insight is to combine implicit geometry modeling with minimal yet essential explicit 3D cues: we incorporate implicit geometry priors from a feed-forward geometry perception network to regularize structure without imposing restrictive reconstruction pipelines, while leveraging metric depth to anchor the generation to a metric scale. This design allows MetaView to achieve both geometry consistency and precise controllability. Extensive experiments demonstrate that, under challenging monocular large viewpoint changes, MetaView significantly outperforms existing methods and exhibits superior generalization. Our code is publicly available at https://github.com/KlingAIResearch/MetaView.

한 줄 요약

MetaView는 단일 이미지에서 대규모 시점 변화를 처리하는 확산 기반의 단안 신규 시점 합성 프레임워크로, 명시적 3D 재구성을 생략하면서도 기하학적 일관성과 정밀한 제어를 달성한다.

핵심 기여도

MetaView는 명시적 3D 재구성을 생략하면서도, 대규모 시점 변화에서도 기하학적 일관성을 유지하며 정밀한 카메라 제어를 가능하게 한다.
기하학적 힌트로는 DepthAnything3를 활용한 피드포워드 기하 인식 네트워크에서 추출한 암시적 기하학적 사전 정보를 사용한다.
RoPE에 z축 스케일 정보를 추가하여 스케일 드리프트 문제를 해결하고, 정확한 시점 제어를 달성한다.
새로운 평가 지표인 Dense Matching Distance (DMD)를 제안하여 기존 저수준 지표보다 정확한 공간 정렬 평가를 제공한다.

핵심 아이디어

기존의 단안 신규 시점 합성(NVS) 방법은 명시적 3D 사전 정보를 사용하면 공간 일관성을 확보하지만, 대규모 시점 변화에서 일반화 능력이 제한된다. 반면, 순수 암시적 모델은 유연성이 높지만 카메라 제어와 기하학적 일관성이 떨어진다. MetaView는 이 두 접근법의 단점을 극복하기 위해, 암시적 기하학적 사전 정보와 최소한의 명시적 3D 힌트를 결합하는 새로운 디자인을 제안한다. 구체적으로, DepthAnything3를 기반으로 한 피드포워드 네트워크에서 추출한 기하학적 토큰을 사용하여 상대 기하학적 관계를 정제하고, RoPE에 z축 스케일 정보를 추가하여 스케일 드리프트를 방지한다. 이는 기존의 재구성 기반 파이프라인 없이도 구조적 일관성과 정확한 제어를 동시에 달성할 수 있도록 한다.

기술적 접근법

**기하학적 사전 정보**: DepthAnything3를 활용한 피드포워드 기하 인식 네트워크에서 추출한 기하학적 토큰을 사용하여 상대 기하학적 관계를 정제.
**RoPE 확장**: 카메라 내부/외부 파라미터를 인코딩한 RoPE에 z축 스케일 정보를 추가하여, 스케일 드리프트 문제를 해결하고 정확한 카메라 제어를 가능하게 함.
**모델 구조**: 사전 학습된 MM-DiT 기반의 확산 변환기 모델을 사용하며, 기하학적 신호는 병렬 어텐션 레이어를 통해 주입.
**하이퍼파라미터**: DMD 계산 시, P_src의 공시야 임계값은 0.3, P_gen의 임계값은 0.2로 설정.

주요 결과

**DL3DV, RealEstate10K, Sekai-Real-Walking-HQ 데이터셋**에서 MetaView는 기존 재구성 기반 및 순수 암시적 방법을 크게 앞선다.
**z축 스케일 정보를 제거하면 PSNR, SSIM 등 저수준 지표에서 일관된 성능 저하**가 발생함.
**기하학적 토큰 제거 시**, 복잡한 상대 관계가 파괴되어 시각적 품질이 저하됨.
**DMD 지표는 PSNR, SSIM, LPIPS보다 시점 변화의 크기를 정확히 반영**하며, 시각적으로 우수한 결과를 정량적으로 구분함.

의의 및 한계

MetaView는 명시적 3D 재구성 없이도 정밀한 카메라 제어와 기하학적 일관성을 동시에 달성함으로써, 단안 NVS 분야에서 중요한 발전을 이루었다. 특히, DMD 지표는 기존 지표의 한계를 보완하며, 대규모 시점 변화 상황에서의 신뢰성 있는 평가를 가능하게 한다. 그러나, 사용된 백본 모델(Qwen-Image-Edit)의 성능이 다른 백본(예: FLUX.1-Kontext)보다 높아, 성능 차이는 일부 백본 간의 능력 차이에 기인할 수 있다. 또한, 현재는 정적 3D 환경에만 적용되며, 4D 환경에서의 확장 가능성은 아직 검증되지 않았다.

실용적 활용

MetaView는 VR/AR, 자율주행, 3D 콘텐츠 생성 등에서 단일 이미지로부터 다양한 시점의 렌더링이 필요한 상황에 유용하게 활용될 수 있다. 특히, 복잡한 장면에서도 기하학적 일관성을 유지하면서 정밀한 제어가 가능하므로, 실시간 인터랙티브 애플리케이션 개발에 적합하다.