GRM: Large Gaussian Reconstruction Model for Efficient 3D Reconstruction and Generation

We introduce GRM, a large-scale reconstructor capable of recovering a 3D asset from sparse-view images in around 0.1s. GRM is a feed-forward transformer-based model that efficiently incorporates multi-view information to translate the input pixels into pixel-aligned Gaussians, which are unprojected to create a set of densely distributed 3D Gaussians representing a scene. Together, our transformer architecture and the use of 3D Gaussians unlock a scalable and efficient reconstruction framework. Extensive experimental results demonstrate the superiority of our method over alternatives regarding both reconstruction quality and efficiency. We also showcase the potential of GRM in generative tasks, i.e., text-to-3D and image-to-3D, by integrating it with existing multi-view diffusion models. Our project website is at: https://justimyhxu.github.io/projects/grm/.

한 줄 요약

GRM은 0.1초 이내에 3D 자산을 복원하는 3D Gaussian 기반의 대규모 생성 모델이다.

핵심 기여도

GRM은 4개의 입력 이미지를 기반으로 3D Gaussian을 생성하는 **sparse-view 3D reconstructor**를 제안함.
기존 triplane 기반 모델 대신 **pixel-aligned Gaussians**를 사용하여 렌더링 효율성을 향상시킴.
**transformer-based network**를 도입하여 입력 이미지의 정보를 메모리 효율적으로 결합함.
**text-to-3D 및 image-to-3D 생성**에서 SOTA 수준의 속도와 품질을 달성함.

핵심 아이디어

GRM은 기존 3D 생성 모델에서 사용되는 triplane 표현 방식을 대체하여 **3D Gaussian splatting** 기반의 새로운 표현 방식을 도입함. 이는 볼륨 렌더링 과정을 생략함으로써 계산 효율성을 높인다. 또한, GRM은 **pure transformer architecture**를 사용하여 입력 이미지의 픽셀 정보를 3D Gaussian으로 변환하며, 이 과정에서 **windowed self-attention layers**를 활용한 새로운 upsampler를 설계하여 고주파 외관 세부 정보를 효과적으로 복원한다. 이는 기존 모델들이 흔히 사용하는 **synthesis-based approach**와 달리, **sparse yet well-distributed views**를 기반으로 훈련함으로써 모델의 정밀도를 높이는 핵심 전략이다.

기술적 접근법

**입력**: 4개의 다중 뷰 이미지
**모델 구조**:
**Encoder**: Vision Transformer(ViT) 기반
**Upsampler**: windowed self-attention 기반, non-local 정보 전달
**출력**: pixel-aligned 3D Gaussian 집합
**훈련**: 256 해상도, 16 GPU, 14M 이미지 사용
**생성 과정**: multi-view diffusion 모델과 결합하여 text-to-3D 및 image-to-3D 생성 가능

주요 결과

**3D 복원 속도**: 약 0.1초
**데이터셋**: 명시되지 않음
**성능**: 기존 SOTA 모델 대비 높은 정밀도와 빠른 추론 속도
**생성 품질**: text-to-3D 및 image-to-3D 생성에서 SOTA 수준의 품질 달성

의의 및 한계

GRM은 3D 생성 분야에서 **고속·고정밀 복원**을 가능하게 하며, 기존 렌더링 기반 모델의 계산 비용 문제를 해결한다. 또한, **transformer 기반의 end-to-end 구조**로 인해 모델의 확장성과 유연성이 높다. 그러나, **입력 뷰가 제한적**인 경우 복원 품질이 저하될 수 있으며, **복잡한 환경에서의 일반화 능력**은 추가 실험을 통해 검증이 필요하다.

실용적 활용

GRM은 게임, 로봇, 건축 등 다양한 산업에서 **자동화된 3D 자산 생성**에 활용될 수 있으며, **텍스트 또는 단일 이미지로부터 3D 모델을 빠르게 생성**하는 데 유용하다. 또한, **3D 콘텐츠 제작 도구**로 개발자 및 디자이너의 작업 효율성을 높이는 데 기여할 수 있다.