Unique3D: High-Quality and Efficient 3D Mesh Generation from a Single Image

In this work, we introduce Unique3D, a novel image-to-3D framework for efficiently generating high-quality 3D meshes from single-view images, featuring state-of-the-art generation fidelity and strong generalizability. Previous methods based on Score Distillation Sampling (SDS) can produce diversified 3D results by distilling 3D knowledge from large 2D diffusion models, but they usually suffer from long per-case optimization time with inconsistent issues. Recent works address the problem and generate better 3D results either by finetuning a multi-view diffusion model or training a fast feed-forward model. However, they still lack intricate textures and complex geometries due to inconsistency and limited generated resolution. To simultaneously achieve high fidelity, consistency, and efficiency in single image-to-3D, we propose a novel framework Unique3D that includes a multi-view diffusion model with a corresponding normal diffusion model to generate multi-view images with their normal maps, a multi-level upscale process to progressively improve the resolution of generated orthographic multi-views, as well as an instant and consistent mesh reconstruction algorithm called ISOMER, which fully integrates the color and geometric priors into mesh results. Extensive experiments demonstrate that our Unique3D significantly outperforms other image-to-3D baselines in terms of geometric and textural details.

한 줄 요약

Unique3D는 단일 이미지에서 고해상도, 정교한 3D 메시를 30초 이내에 생성하는 새로운 이미지-3D 생성 프레임워크이다.

핵심 기여도

**ISOMER** 알고리즘을 도입하여 색상과 기하학적 정보를 통합한 일관되고 빠른 3D 메시 재구성 가능.
**Multi-level upscale 전략**을 통해 RGB 이미지와 노멀 맵을 점진적으로 고해상도로 확장.
**Objaverse 데이터셋 (~50k 3D 데이터)** 기반의 다중 뷰 및 노멀 디퓨전 모델을 사용하여 생성 품질 향상.
**30초 이내**에 단일 이미지에서 고해상도, 정교한 3D 메시 생성 가능.

핵심 아이디어

기존의 Score Distillation Sampling (SDS) 기반 방법은 2D 디퓨전 모델에서 3D 지식을 추출하여 다양한 결과를 생성하지만, 개별 최적화 시간이 길고 일관성이 부족하다. Unique3D는 이 문제를 해결하기 위해 **다중 뷰 디퓨전 모델**과 **노멀 디퓨전 모델**을 결합하여 RGB 이미지와 노멀 맵을 생성하고, 이를 **ISOMER 알고리즘**을 통해 일관되고 빠르게 3D 메시로 변환한다. 특히, **ExplicitTarget**과 **확장 정규화**를 도입하여 기하학적 일관성과 재구성 안정성을 향상시켰다. 이는 기존 방법들이 고해상도와 복잡한 기하 구조를 생성하는 데 어려움을 겪었던 문제를 해결한다.

기술적 접근법

**Multi-view diffusion model**과 **normal diffusion model**을 사용하여 4개의 직교 뷰 이미지와 노멀 맵 생성.
**Multi-level upscale strategy**를 통해 RGB 이미지와 노멀 맵을 점진적으로 고해상도로 확장.
**ISOMER 알고리즘**을 통해 RGB와 노멀 맵을 기반으로 3D 메시 재구성.
**Objaverse (~50k 3D 데이터)** 기반으로 모델 학습.
**Noise offset channel**, **데이터셋 필터링**, **확장 정규화**를 통해 재구성 안정성 및 품질 향상.

주요 결과

**Objaverse 데이터셋** 기반 실험에서 Unique3D는 기하학적 세부 정보와 텍스처 품질에서 기존 기반 모델들보다 우수한 성능을 보임.
**30초 이내**에 고해상도 3D 메시 생성 가능.
**비전면 뷰 (azimuth ∈ [-180, 180], elevation ∈ [-30, 30])**에서도 정확한 기하학적 예측 성능 유지.
**복잡한 텍스트와 인물 사진**에서도 뛰어난 재구성 결과를 보임.

의의 및 한계

Unique3D는 단일 이미지에서 고해상도, 일관된 3D 메시를 빠르게 생성함으로써 3D 생성 AI 분야에서 실용적 활용 가능성을 열었다. 특히, **ISOMER 알고리즘**은 기존의 메시 재구성 방법보다 빠르고 정확하며, **ExplicitTarget**과 **확장 정규화**는 복잡한 기하 구조를 안정적으로 재현하는 데 기여한다. 그러나, **비정상적인 시점 (skewed or non-perspective inputs)**에 대해서는 다중 뷰 예측 모델이 부정확할 수 있으며, **텍스처 맵 생성 기능은 아직 지원되지 않음**. 향후 더 다양한 데이터셋을 기반으로 모델의 안정성과 범용성을 향상시키는 것이 필요하다.

실용적 활용

Unique3D는 게임, 건축, 아트, 애니메이션 등 3D 콘텐츠 생성이 필요한 산업에서 활용 가능하다. 특히, **단일 이미지에서 빠르고 정확한 3D 모델 생성**이 필요한 실시간 애플리케이션 및 자동화된 3D 콘텐츠 제작 플랫폼에 적합하다.