SUPRA-TEX: 3D Generation with Super-Aligned Texture

Single image 3D generation aims to dress a given 3D mesh with relightable materials while faithfully preserving the visual details of a reference image. Existing methods either introduce artifacts when fusing inconsistent multi-view predictions or struggle to preserve fine details through implicit image-feature conditioning. To resolve these challenges, we introduce SUPRA-Tex, built on the principle of decoupling visible-material estimation, surface alignment, and observation-guided 3D completion. This division of labor allows the 3D generator, trained on limited 3D data, to focus its capacity on preserving visible evidence and completing unobserved surfaces. Specifically, we first train an MLLM-based image editing model to predict lighting-separated PBR maps in the reference view. We then project these maps onto the visible surface and encode them with the pretrained material VAE encoder into native observation latents that share the generation target's latent space. An interleaved flow transformer holds these latents as fixed, read-only anchors while alternating unobserved-region and full-surface updates to generate complete material latents. This design achieves super-alignment with the reference, delivering What You See Is What You Get fidelity on visible regions and coherent completion on unobserved surfaces. Trained solely on public datasets, SUPRA-Tex achieves SOTA performance in both geometry-conditioned texturing and end-to-end asset generation, matching or even exceeding leading commercial systems on in-the-wild images. Project page: https://supra-3d.github.io/supratex/

한 줄 요약

SUPRA-Tex는 3D 생성 과정에서 표면 정렬과 관찰 기반 재료 보완을 분리하여, 주어진 이미지의 시각 세부사항을 정확히 재현하는 3D 재질 생성 프레임워크이다.

핵심 기여도

**SUPRA-Tex**는 3D 생성 과정에서 재질 추정, 표면 정렬, 관찰 기반 보완을 분리하여 학습 부담을 줄임.
**Native observation encoding**을 통해 참조 뷰의 PBR 추정치를 표면 위치에 투영하고, 재질을 타겟 레이턴트 공간에 인코딩함.
**Interleaved flow transformer**를 제안하여, 고정된 관찰 레이턴트를 기반으로 보완되지 않은 영역과 전체 표면을 번갈아 업데이트함.
공개 데이터셋만으로 학습했음에도, **DTC-Tex**와 **Complex-Tex** 데이터셋에서 상용 시스템 수준의 성능을 달성함.

핵심 아이디어

기존 3D 생성 방법은 재질 추정, 정렬, 보완을 단일 모델에 부여하여 학습 부담이 컸고, 세부 재현력이 낮았다. SUPRA-Tex는 이 세 과정을 분리하여, 2D 모델로 재질 추정을, 카메라 투영으로 정렬을, 3D 생성기로 보완을 담당하게 함으로써 효율성을 높였다. 특히, **PBR 맵**(Albedo, Metallic, Roughness)을 추정한 후, **Material VAE 인코더**를 통해 재질을 레이턴트 공간에 인코딩함으로써 추상적 특징이 아닌 실제 재질 정보를 3D 생성기에 제공한다. 이는 3D 생성기가 추상적 특징을 재질로 변환하는 과정을 생략하고, 기존 재질 정보를 기반으로 보완에 집중할 수 있게 한다.

기술적 접근법

**2D 재질 추정**: FireRed-Image-Edit-1.1 모델을 1024×1024 해상도에서 사용하여, 단일 전방향 이미지에서 PBR 맵을 추정함.
**표면 정렬**: 추정된 PBR 맵을 표면 위치에 투영하고, **Material VAE 인코더**를 통해 **native observation latents**로 변환함.
**3D 보완**: **Interleaved flow transformer**가 고정된 관찰 레이턴트를 참조하면서, 보완되지 않은 영역과 전체 표면을 번갈아 업데이트함.
**하이퍼파라미터**: 60개의 Transformer 블록, 576의 글로벌 배치 크기, 64개 GPU 사용, 25개의 Euler 스텝으로 추론함.

주요 결과

**DTC-Tex** 데이터셋에서, **Residual injection** 대비 **shaded PSNR_fg**가 0.87 dB 개선됨.
**Complex-Tex** 데이터셋에서, **Joint-update attention** 대비 **albedo PSNR_fg**가 0.15 dB 개선됨.
**SUPRA-Tex**는 **1.20×** 및 **1.18×**의 추론 가속을 달성함.
**Oracle PBR** 대비 **shaded PSNR_fg**는 DTC-Tex에서 2.31 dB, Complex-Tex에서 1.12 dB 개선됨.

의의 및 한계

SUPRA-Tex는 3D 생성 과정에서 복잡한 작업을 분리함으로써, 학습 부담을 줄이고, 세부 재현력을 높이는 데 성공했다. 특히, **Material VAE 인코더**와 **Interleaved flow transformer**를 통해, 3D 생성기가 관찰된 재질 정보를 기반으로 보완에 집중할 수 있게 함으로써, **What You See Is What You Get (WYSIWYG)** 수준의 정확도를 달성했다. 그러나, 2D 재질 추정 모델의 정확도가 3D 생성 결과에 영향을 미치므로, 추정 모델의 개선이 필요하다. 또한, 부분 재질 인코딩이 전체 재질 인코딩과 차이가 나는 것으로 보아, 인코딩 과정에서 정보 손실이 발생할 수 있다.

실용적 활용

SUPRA-Tex는 제품 디지털화, 가상 환경 구축, 제품 디자인 등에서 활용 가능하다. 특히, 단일 이미지에서 빠르고 정확한 3D 재질 생성이 필요한 산업 분야에서 유용하며, 상용 3D 생성 시스템 대비 높은 정확도와 효율성을 제공한다.