CRM: Single Image to 3D Textured Mesh with Convolutional Reconstruction Model

Feed-forward 3D generative models like the Large Reconstruction Model (LRM) have demonstrated exceptional generation speed. However, the transformer-based methods do not leverage the geometric priors of the triplane component in their architecture, often leading to sub-optimal quality given the limited size of 3D data and slow training. In this work, we present the Convolutional Reconstruction Model (CRM), a high-fidelity feed-forward single image-to-3D generative model. Recognizing the limitations posed by sparse 3D data, we highlight the necessity of integrating geometric priors into network design. CRM builds on the key observation that the visualization of triplane exhibits spatial correspondence of six orthographic images. First, it generates six orthographic view images from a single input image, then feeds these images into a convolutional U-Net, leveraging its strong pixel-level alignment capabilities and significant bandwidth to create a high-resolution triplane. CRM further employs Flexicubes as geometric representation, facilitating direct end-to-end optimization on textured meshes. Overall, our model delivers a high-fidelity textured mesh from an image in just 10 seconds, without any test-time optimization.

한 줄 요약

CRM은 단일 이미지에서 10초 이내에 고해상도 텍스처 메시를 생성하는 컨볼루션 기반 3D 생성 모델이다.

핵심 기여도

**CRM** 모델을 제안하여, 10초 이내에 테스트 타임 최적화 없이 고해상도 텍스처 메시를 생성.
**Flexicubes** 기하 표현을 도입하여, 직접적인 end-to-end 최적화를 가능하게 함.
**U-Net 기반 컨볼루션 네트워크**를 사용해 6개의 직교 이미지를 고해상도 triplane으로 변환.
**Canonical Coordinate Map (CCM)**을 추가하여 공간 관계 이해를 향상.

핵심 아이디어

기존의 transformer 기반 3D 생성 모델은 triplane의 기하학적 prior를 활용하지 못해, 품질 저하와 느린 학습이 발생했다. CRM은 triplane이 6개의 직교 이미지와 공간적으로 일치한다는 관찰을 바탕으로, **6개의 직교 이미지 생성 → U-Net을 통한 triplane 생성 → Flexicubes 기반 텍스처 메시 최적화**라는 단계를 제안한다. 이는 기하학적 prior를 네트워크 설계에 통합함으로써, 훈련 데이터가 제한된 환경에서도 높은 품질의 3D 생성이 가능하도록 한다. 또한, **CCM**을 도입해 공간 관계를 보다 정확히 반영한다.

기술적 접근법

**입력**: 단일 이미지
**단계 1**: 다중 뷰 디퓨전 모델을 사용해 6개의 직교 이미지와 CCM 생성
**단계 2**: U-Net 기반의 **Convolutional Reconstruction Model (CRM)**을 통해 직교 이미지와 CCM을 고해상도 triplane으로 변환
**단계 3**: **Flexicubes** 기하 표현을 사용해 텍스처 메시 최적화
**디퓨전 모델 훈련 데이터**: Objaverse 데이터셋의 필터링 버전
**Flexicubes 그리드 크기**: 80×80 (제한된 컴퓨팅 자원으로 인해)

주요 결과

**10초 이내**에 단일 이미지에서 고해상도 텍스처 메시 생성
**Flexicubes**를 사용한 end-to-end 최적화로, 기존 NeRF나 Gaussian Splatting과 달리 별도의 텍스처 메시 추출 과정이 필요하지 않음
**CCM** 추가로 공간 관계 이해 향상, 훈련 안정성 및 생성 품질 개선
**Objaverse** 기반 훈련으로, 품질과 안정성 향상

의의 및 한계

CRM은 기하학적 prior를 네트워크 설계에 통합함으로써, 제한된 3D 데이터에서도 높은 품질의 3D 생성이 가능하다는 점에서 학술적 의의가 있다. 또한, **end-to-end 훈련 파이프라인**을 통해 기존 방법들보다 간단하고 효율적인 추론이 가능하다. 그러나 입력 이미지의 시야각(elevation)이 크거나 FoV가 다를 경우 결과가 불만족스러울 수 있으며, **다중 뷰 디퓨전 모델의 일관성**이 부족하면 3D 결과가 저하될 수 있다. 또한, **Flexicubes 그리드 크기(80×80)**는 매우 세부적인 기하학을 표현하기에는 한계가 있다.

실용적 활용

CRM은 3D 콘텐츠 생성이 필요한 산업, 예를 들어 게임 개발, 영화 VFX, AR/VR 분야에서 빠르고 정확한 3D 모델 생성에 활용될 수 있다. 또한, **단일 이미지 기반 3D 스캐닝**이나 **CAD 자동화**에도 적용 가능하다.