Geometry-Aware Representation Denoising for Robust Multi-view 3D Reconstruction

Multi-view 3D reconstruction has achieved remarkable progress with the advent of feed-forward 3D reconstruction models. However, these models are typically trained and evaluated under ideal, degradation-free imaging conditions, whereas real-world observations often contain degradations that differ significantly from such settings. Improving robustness for multi-view 3D reconstruction under degraded conditions therefore remains an important challenge. We present Geometry-Aware Representation Denoising (GARD), a novel framework that performs diffusion-based multi-view restoration directly in the feature space of a feed-forward 3D reconstruction model. This design exploits the geometry-aware feature representations of the 3D reconstructor to effectively recover accurate scene geometry. Furthermore, by employing an additional RGB image decoder, the refined representations can also be used to restore high-quality RGB images, thereby enabling the simultaneous recovery of 3D scene geometry and high-quality imagery. Comprehensive experiments on the Depth Anything 3 (DA3) benchmark demonstrate the effectiveness of the proposed GARD framework.

📋 한 줄 요약

**[Multi-view 3D Reconstruction / Diffusion Denoising]** GARD가 feed-forward 3D 재구성 모델의 feature space에서 직접 diffusion 기반 multi-view restoration 수행 — geometry-aware 표현 활용해 열화 환경에서도 정확한 scene geometry 복원, 추가 RGB decoder로 고품질 이미지도 동시 복원.

🎯 핵심 기여도

Feed-forward 3D 재구성 모델 등장으로 multi-view 3D reconstruction이 remarkable progress를 이루었지만, 이들 모델이 ideal·degradation-free imaging 조건 하에서 학습·평가되는 반면 실세계 관측은 그 설정과 substantially 다른 degradation을 포함함을 진단.
Degraded 조건 하에서 multi-view 3D reconstruction의 robustness 개선이 important challenge로 남아있음.
GARD(Geometry-Aware Representation Denoising) 프레임워크 제시 — feed-forward 3D 재구성 모델의 feature space에서 직접 diffusion 기반 multi-view restoration 수행.
추가 RGB image decoder 활용으로 refined representation이 high-quality RGB 복원에도 사용 가능, 3D scene geometry와 high-quality 이미지를 동시 복원.

💡 핵심 아이디어

열화된 multi-view 입력에서 3D 재구성을 robust하게 수행하려면 pixel-level restoration 후 reconstruction이 아닌, feed-forward 3D reconstructor의 geometry-aware feature space 자체에서 diffusion denoising을 수행해야 한다 — feature가 이미 geometry 정보를 인코딩하므로 정확한 scene geometry 복구에 직접적이며, decoder로 RGB도 함께 복원할 수 있다.

🔬 기술적 접근법

**방법론**: GARD — feature-space diffusion denoising + dual decoder (3D + RGB).
**핵심 기법**: (1) Feed-forward 3D reconstructor의 feature space에서 multi-view restoration, (2) Diffusion 기반 denoising 모델로 열화된 feature를 clean feature로 복원, (3) Geometry-aware feature 활용으로 scene geometry 정확 복구, (4) 추가 RGB image decoder로 refined feature → 고품질 RGB 복원, (5) 3D geometry와 RGB 이미지를 동일 representation에서 simultaneously 복원하는 통합 파이프라인.

📊 주요 결과

Depth Anything 3(DA3) benchmark에서의 광범위 실험으로 GARD 프레임워크 effectiveness 입증.
3D scene geometry와 high-quality RGB 이미지 simultaneous recovery 가능.
Feature-space denoising이 pixel-space 대비 geometry 보존 측면에서 이점.

💭 의의 및 한계

**의의**: 실세계 열화 환경의 multi-view 3D reconstruction robustness 문제 해결, feature-space diffusion이라는 새 패러다임 제시, 3D geometry와 RGB의 unified restoration으로 응용 폭 확장. **한계**: DA3 단일 벤치마크 평가로 도메인 일반화 추가 검증 필요, diffusion denoising의 inference cost, 매우 심한 열화 시나리오의 한계는 미명시.

🚀 실용적 활용

실세계 카메라(저조도·노이즈·blur) 환경의 3D 재구성.
자율주행·드론·AR/VR의 robust scene 이해.
Multi-view 데이터의 통합 restoration 도구.