LVSM: A Large View Synthesis Model with Minimal 3D Inductive Bias

We propose the Large View Synthesis Model (LVSM), a novel transformer-based approach for scalable and generalizable novel view synthesis from sparse-view inputs. We introduce two architectures: (1) an encoder-decoder LVSM, which encodes input image tokens into a fixed number of 1D latent tokens, functioning as a fully learned scene representation, and decodes novel-view images from them; and (2) a decoder-only LVSM, which directly maps input images to novel-view outputs, completely eliminating intermediate scene representations. Both models bypass the 3D inductive biases used in previous methods -- from 3D representations (e.g., NeRF, 3DGS) to network designs (e.g., epipolar projections, plane sweeps) -- addressing novel view synthesis with a fully data-driven approach. While the encoder-decoder model offers faster inference due to its independent latent representation, the decoder-only LVSM achieves superior quality, scalability, and zero-shot generalization, outperforming previous state-of-the-art methods by 1.5 to 3.5 dB PSNR. Comprehensive evaluations across multiple datasets demonstrate that both LVSM variants achieve state-of-the-art novel view synthesis quality. Notably, our models surpass all previous methods even with reduced computational resources (1-2 GPUs). Please see our website for more details: https://haian-jin.github.io/projects/LVSM/ .

한 줄 요약

LVSM은 3D 인덕티브 바이어스를 최소화한 트랜스포머 기반의 새로운 뷰 시너지스 모델로, 디코더-오직 모델이 기존 최고 수준의 1.5~3.5 dB PSNR 성능을 달성한다.

핵심 기여도

**LVSM의 두 아키텍처 제안**: 인코더-디코더 LVSM과 디코더-오직 LVSM.
**3D 인덕티브 바이어스 제거**: 기존 3D 표현 (NeRF, 3DGS) 및 네트워크 설계 (epipolar projections, plane sweeps)를 완전히 제거.
**디코더-오직 모델의 PSNR 개선**: 기존 최고 성능 대비 1.5~3.5 dB PSNR 향상.
**저자원 환경에서도 성능 우수**: 1~2개 GPU로도 기존 방법을 초과.

핵심 아이디어

LVSM은 기존 뷰 시너지스 연구에서 널리 사용된 3D 인덕티브 바이어스 (예: NeRF, 3DGS, epipolar projections)를 제거하고, **전적으로 데이터 기반 접근법**을 채택한다. 이는 3D 표현 없이도 뷰 시너지스가 가능하다는 통찰을 바탕으로 한다.

**인코더-디코더 LVSM**은 입력 이미지를 1D 레이턴트 토큰으로 압축한 후, 타겟 뷰의 플러커 레이 (Plücker ray)를 사용해 렌더링.
**디코더-오직 LVSM**은 입력 뷰 토큰과 타겟 포즈 토큰을 직접 결합해 렌더링 결과를 생성하며, **중간 3D 표현을 완전히 제거**.
이는 **시퀀스-투-시퀀스 번역**과 유사한 방식으로, 기존 3D 인덕티브 바이어스를 최소화하면서도 높은 품질의 렌더링을 달성.

기술적 접근법

**인코더-디코더 LVSM**:
인코더 트랜스포머는 입력 이미지를 1D 레이턴트 토큰으로 압축.
디코더는 플러커 레이를 위치 임베딩으로 사용해 렌더링.
레이턴트 토큰 수는 입력 뷰 수와 독립적.
**디코더-오직 LVSM**:
단일 트랜스포머 스트림으로 입력 뷰 토큰과 타겟 포즈 토큰을 결합.
**중간 표현 없이** 렌더링.
**토큰화 전략**: 입력 이미지와 포즈를 non-overlapping patches로 분할.
**자연스러운 어텐션**: 디코더는 **양방향 self-attention**을 사용해 렌더링 품질 향상.
**하이퍼파라미터**: 64개 A100 GPU로 3~7일 훈련. 1~2개 GPU에서도 성능 유지.

주요 결과

**PSNR 성능**: 디코더-오직 LVSM이 기존 최고 성능 (예: GS-LRM) 대비 **1.5~3.5 dB PSNR 향상**.
**제로샷 일반화**: 4개 뷰로 훈련된 모델이 1~10개 뷰에서도 성능 유지.
**렌더링 효율성**: 인코더-디코더 모델은 고정 길이 레이턴트 표현으로 **빠른 추론 속도**.
**자원 효율성**: 1~2개 GPU로도 기존 방법을 초과.

의의 및 한계

LVSM은 3D 인덕티브 바이어스를 최소화하면서도 높은 품질의 뷰 시너지스를 달성함으로써, **데이터 기반 접근법의 가능성을 확장**한다. 특히, 디코더-오직 모델은 기존 3D 표현 없이도 뛰어난 성능을 보여, **3D 표현의 필요성 재검토**를 유도한다.

하지만, 인코더-디코더 모델은 디코더-오직 모델에 비해 **제로샷 성능이 낮고**, 입력 뷰 수가 증가하면 성능이 감소하는 경향이 있다. 이는 인코더의 압축 과정에서 정보 손실이 발생하기 때문으로 추정된다. 또한, **트랜스포머 기반 모델의 계산 비용**은 여전히 높은 편이다.

실용적 활용

LVSM은 3D 인덕티브 바이어스 없이도 높은 품질의 뷰 시너지스를 제공하므로, **VR/AR, 자율주행, 콘텐츠 생성** 등 다양한 산업 분야에서 활용 가능하다. 특히, **저자원 환경에서도 성능을 유지**하므로, 모바일 장치나 클라우드 기반 렌더링 시스템에 적합하다.