LGM: Large Multi-View Gaussian Model for High-Resolution 3D Content Creation

3D content creation has achieved significant progress in terms of both quality and speed. Although current feed-forward models can produce 3D objects in seconds, their resolution is constrained by the intensive computation required during training. In this paper, we introduce Large Multi-View Gaussian Model (LGM), a novel framework designed to generate high-resolution 3D models from text prompts or single-view images. Our key insights are two-fold: 1) 3D Representation: We propose multi-view Gaussian features as an efficient yet powerful representation, which can then be fused together for differentiable rendering. 2) 3D Backbone: We present an asymmetric U-Net as a high-throughput backbone operating on multi-view images, which can be produced from text or single-view image input by leveraging multi-view diffusion models. Extensive experiments demonstrate the high fidelity and efficiency of our approach. Notably, we maintain the fast speed to generate 3D objects within 5 seconds while boosting the training resolution to 512, thereby achieving high-resolution 3D content generation.

한 줄 요약

LGM은 텍스트나 단일 뷰 이미지로부터 5초 이내에 512 해상도의 고해상도 3D 가우시안 모델을 생성하는 새로운 프레임워크이다.

핵심 기여도

**Multi-View Gaussian Features**를 제안하여 효율적이고 강력한 3D 표현을 구현.
**비대칭 U-Net**을 기반으로 한 3D 백본을 도입하여 다중 뷰 이미지 처리를 최적화.
512 해상도에서 훈련하며 5초 이내 3D 객체 생성 가능.
생성된 3D 가우시안을 **텍스처가 있는 폴리곤 메시**로 변환하는 일반적인 알고리즘 제안.

핵심 아이디어

기존 3D 생성 모델은 **Triplane 기반 NeRF**와 **Transformer**를 사용하여 높은 세부 표현력을 달성했으나, 높은 계산 비용과 저해상도 훈련으로 인해 제한적이었다. LGM은 이 문제를 해결하기 위해 **Gaussian Splatting**을 기반으로 한 3D 표현 방식을 도입했다. 이는 Triplane보다 **더 효율적으로 3D 정보를 표현**할 수 있으며, **볼륨 렌더링 대신 빠른 렌더링**이 가능하다. 또한, **다중 뷰 이미지를 입력으로 사용하는 비대칭 U-Net**을 통해 높은 해상도 훈련이 가능하며, **65,536개의 3D 가우시안**을 생성할 수 있다. 이는 기존 모델 대비 훨씬 더 많은 세부 정보를 표현할 수 있음을 의미한다.

기술적 접근법

**3D 표현**: Multi-View Gaussian Features를 사용하여 3D 정보를 표현.
**백본 모델**: 비대칭 U-Net을 사용하여 다중 뷰 이미지 처리 및 3D 가우시안 생성.
**렌더링**: Differentiable Rendering을 통해 3D 가우시안으로부터 새로운 뷰 생성.
**데이터 증강**: Diffusion 모델로 생성된 이미지와 실제 3D 렌더링 이미지 간 도메인 간극을 줄이기 위한 데이터 증강 기법.
**메시 추출**: 생성된 3D 가우시안을 **텍스처가 있는 폴리곤 메시**로 변환하는 알고리즘.
**훈련 해상도**: 512×512×512에서 훈련 가능.
**추론 속도**: 5초 이내 3D 객체 생성.

주요 결과

**512 해상도**에서 훈련하며, **5초 이내**에 3D 객체 생성 가능.
**65,536개의 3D 가우시안** 생성, 기존 모델 대비 훨씬 더 많은 세부 표현.
**텍스트-3D 및 이미지-3D** 생성 모두에서 높은 품질과 효율성 보장.
**Diffusion 모델**을 활용한 다중 뷰 이미지 생성을 통해 텍스트 입력도 처리 가능.
**Mesh Extraction Algorithm**을 통해 생성된 3D 가우시안을 텍스처가 있는 폴리곤 메시로 변환 가능.

의의 및 한계

LGM은 기존 3D 생성 모델의 **저해상도 훈련 및 느린 추론 속도** 문제를 해결하며, **고해상도 3D 콘텐츠 생성**에 기여한다. 특히, **Gaussian Splatting 기반 표현**은 높은 효율성과 세부 표현력을 동시에 달성한다. 그러나, **65,536개의 가우시안**을 생성하려면 상당한 메모리가 필요하며, **대규모 배치 처리**는 여전히 어려울 수 있다. 또한, **텍스트-3D 생성**에서의 정확도는 명시되지 않았으며, **다양한 도메인에서의 일반화 능력**도 추가 실험 필요.

실용적 활용

LGM은 **디지털 게임**, **가상 현실**, **영화 제작** 등에서 **고해상도 3D 콘텐츠 자동 생성**에 활용 가능하다. 특히, **3D 아티스트가 아닌 일반 사용자도 쉽게 3D 자산을 생성**할 수 있어, **디자인 및 콘텐츠 제작 분야의 생산성 향상**에 기여할 수 있다.