PixWorld: Unifying 3D Scene Generation and Reconstruction in Pixel Space

3D reconstruction and generation are commonly tackled by separate paradigms: pixel-based regression for reconstruction, and latent diffusion for generation. Recent works attempt to unify them in latent space, but with notable drawbacks: the diffusion objective is defined on latent features rather than the underlying 3D representation, and both branches suffer from information loss introduced by latent encoding, while requiring a pretrained Variational Autoencoder (VAE) or Representation Autoencoder (RAE). In this paper, we reformulate these two tasks under a unified pixel-space diffusion paradigm and introduce PixWorld, a single model that jointly addresses 3D reconstruction and generation. By supervising diffusion directly on rendered images, PixWorld removes the above limitations and aligns optimization with 3D scene fidelity. Beyond photometric and perceptual supervision that operates at the 2D image level and lacks 3D geometric awareness, we further introduce a geometry perception loss that aligns rendered views with their ground truth in the geometry-aware feature space of a pretrained 3D foundation model, providing 3D structural supervision. PixWorld consistently outperforms prior latent-space generation methods and matches state-of-the-art reconstruction methods, demonstrating the superiority of a unified pixel-space approach.

한 줄 요약

PixWorld는 3D 장면 생성 및 재구성의 통합을 위해 픽셀 공간 확산 기반 단일 모델을 제안하며, 기존 잠재 공간 접근법의 한계를 극복한다.

핵심 기여도

PixWorld는 VAE/RAE 없이 픽셀 정렬된 3D 가우시안 표현을 직접 감독하는 단일 모델을 제안.
기하학 인식 손실(Geometry Perception Loss)을 도입하여 2D 손실 기반 접근법의 한계를 보완.
RealEstate10K, DL3DV, WorldScore 데이터셋에서 기존 잠재 공간 생성 모델을 초과하며, 재구성 성능은 최첨단 수준과 동일.
1-view 설정에서 기하학 인식 손실 제거 시 PSNR 1.13 dB, SSIM 0.105, AUC@5 0.080 감소.

핵심 아이디어

기존 3D 생성 및 재구성은 각각 잠재 확산(latent diffusion)과 픽셀 기반 회귀(pixel-based regression)를 사용하며, 잠재 공간 통합 접근법은 정보 손실과 추가 학습 비용을 유발한다. PixWorld는 이 문제를 해결하기 위해 **단일 모델 내에서 픽셀 공간 확산 기반 통합 프레임워크**를 제안한다. 이 모델은 **다중 뷰 입력을 클린/노이즈 서브셋으로 분할**하고, **2-stream 확산 트랜스포머**를 통해 **픽셀 정렬된 3D 가우시안 표현**을 생성한다. 이후 **미분 렌더링(differentiable rendering)**을 통해 3D 장면의 품질을 직접 감독하며, 기존 잠재 공간 기반의 간접적 감독 방식을 제거한다. 또한, 2D 손실이 기하학적 일관성을 보장하지 못하는 문제를 해결하기 위해 **사전 학습된 3D 기초 모델의 기하학 인식 특징 공간**에서 렌더링된 뷰와 정답 뷰를 정렬하는 **기하학 인식 손실**을 도입한다.

기술적 접근법

**입력 처리**: 다중 뷰 이미지 입력을 클린 서브셋(재구성)과 노이즈 서브셋(생성)으로 분할.
**모델 구조**: 2-stream 확산 트랜스포머를 사용하여 클린/노이즈 서브셋을 병렬 처리.
**출력 표현**: 픽셀 정렬된 3D 가우시안 표현(pixel-aligned 3D Gaussian representation)을 생성.
**렌더링 및 감독**: 미분 렌더링을 통해 3D 표현을 2D 이미지로 변환하고, 이를 기반으로 확산 손실을 계산.
**기하학 인식 손실**: 사전 학습된 3D 기초 모델의 기하학 인식 특징 공간에서 렌더링 뷰와 정답 뷰를 정렬하여 3D 구조를 감독.

주요 결과

**RealEstate10K, DL3DV, WorldScore** 데이터셋에서 PixWorld는 기존 잠재 공간 생성 모델을 초과.
**1-view 설정**에서 기하학 인식 손실 제거 시 PSNR 19.12 → 17.99 (1.13 dB 감소), SSIM 0.717 → 0.612 (0.105 감소), AUC@5 0.642 → 0.562 (약 12.5% 상대 감소).
**NVS 평가 지표**(PSNR, SSIM, LPIPS), **VBench 기반 생성 품질**(I2V Subject, Image Quality 등), **카메라 제어 정밀도**(AUC@30°, 15°, 5°)에서 우수한 성능 보임.

의의 및 한계

PixWorld는 기존 잠재 공간 기반 통합 접근법의 정보 손실과 추가 학습 비용 문제를 해결하며, 3D 장면 생성과 재구성을 단일 모델 내에서 통합하는 새로운 패러다임을 제시한다. 특히, 기하학 인식 손실은 2D 기반 손실이 부족한 3D 구조 일관성을 보장하는 핵심 요소로 입증되었다. 그러나, PixWorld는 **사전 학습된 3D 기초 모델에 의존**하며, **렌더링 기반의 계산 비용**이 높을 수 있는 점이 한계로 지적된다. 또한, **복잡한 장면에서의 확장성**에 대한 평가가 추가적으로 필요하다.

실용적 활용

PixWorld는 게임, VR/AR, 로봇, 임베디드 AI 등 3D 장면 생성 및 재구성이 필요한 산업 분야에 적용 가능하다. 특히, **단일 입력 뷰에서의 3D 장면 생성**이나 **실시간 카메라 제어**가 요구되는 상황에서 유용하며, **사전 학습된 3D 모델 기반의 생성 품질 향상**이 필요한 연구 분야에도 활용 가능하다.