Realiz3D: 3D Generation Made Photorealistic via Domain-Aware Learning

We often aim to generate images that are both photorealistic and 3D-consistent, adhering to precise geometry, material, and viewpoint controls. Typically, this is achieved by fine-tuning an image generator, pre-trained on billions of real images, using renders of synthetic 3D assets, where annotations for control signals are available. While this approach can learn the desired controls, it often compromises the realism of the images due to domain gap between photographs and renders. We observe that this issue largely arises from the model learning an unintended association between the presence of control signals and the synthetic appearance of the images. To address this, we introduce Realiz3D, a lightweight framework for training diffusion models, that decouples controls and visual domain. The key idea is to explicitly learn visual domain, real or synthetic, separately from other control signals by introducing a co-variate that, fed into small residual adapters, shifts the domain. Then, the generator can be trained to gain controllability, without fitting to specific visual domain. In this way, the model can be guided to produce realistic images even when controls are applied. We enhance control transferability to the real domain by leveraging insights about roles of different layers and denoising steps in diffusion-based generators, informing new training and inference strategies that further mitigate the gap. We demonstrate the advantages of Realiz3D in tasks as text-to-multiview generation and texturing from 3D inputs, producing outputs that are 3D-consistent and photorealistic.

📋 한 줄 요약

**[3D 생성 / 도메인 분리 학습]** 합성 렌더와 실제 사진 사이 도메인 갭을 명시적으로 분리해 제어 신호를 학습하면서도 사실적 출력을 유지하는 diffusion 학습 프레임워크 Realiz3D 제안.

🎯 핵심 기여도

합성 3D 자산 렌더로 fine-tuning할 때 모델이 "제어 신호 = 합성 외관"이라는 의도치 않은 연관을 학습해 사실성이 손상된다는 문제를 명확히 진단.
시각 도메인(real/synthetic)을 별도 covariate로 분리해 small residual adapter에 주입하는 경량 학습 프레임워크 Realiz3D 도입.
제어 가능성을 학습하되 특정 시각 도메인에 적합되지 않도록 만들어 제어 신호 적용 후에도 사실적 출력 유지.
diffusion 생성기의 layer별·denoising step별 역할 분석을 활용한 학습·추론 전략으로 실 도메인으로의 제어 전이성 강화.

💡 핵심 아이디어

"제어 가능성"과 "시각 도메인"을 동일 채널에서 학습하면 둘이 얽혀서 사실성을 잃지만, 도메인을 별도 covariate로 분리하면 같은 모델이 합성·실 도메인을 모두 학습한 뒤 제어 신호를 양쪽에 자유롭게 이식할 수 있다.

🔬 기술적 접근법

**모델/방법론**: 사전 학습 이미지 생성기를 합성 렌더로 fine-tuning하되, 도메인 covariate를 small residual adapter에 주입해 제어 학습과 분리.
**핵심 기법**: 도메인 covariate 기반 adapter 분리, diffusion layer·denoising step별 역할에 따른 차등 학습/추론 전략, 제어 신호의 실 도메인 전이성 강화.

📊 주요 결과

text-to-multiview 생성·3D 입력 텍스처링에서 3D 일관성과 사실성을 동시에 유지.
합성 렌더 fine-tuning의 사실성 저하 없이 제어 가능성 확보.
추가 데이터·복잡 구조 없이 가벼운 adapter만 추가.

💭 의의 및 한계

**의의**: 합성 데이터가 풍부한 제어 학습 영역(3D, depth, normal, material)에서 사실성 손실 없이 제어를 학습하는 보편적 처방 제시. **한계**: 도메인 covariate가 양극화(real/synthetic)에 가까울수록 효과적이며, 미세한 sub-domain 분리에서의 효과는 검증 필요.

🚀 실용적 활용

게임·영화 자산 텍스처링과 사실적 렌더 합성.
멀티뷰 생성을 활용한 3D 자산 부트스트래핑.
제어 신호가 풍부한 합성 데이터를 활용한 사실적 산업 응용.