JanusMesh: Fast and Zero-Shot 3D Visual Illusion Generation via Cross-Space Denoising

Creating 3D visual illusions, a single 3D mesh that reveals entirely different semantics from various viewing angles, is a fascinating but tough challenge. Existing optimization-based methods are slow and can produce oversaturated colors. In contrast, naive stitching approaches fail to produce geometrically coherent objects. This results in visible unnatural seams and semantic leaks. In this paper, we present a fast and training-free framework for generating text-driven 3D visual illusions. Our approach decouples the generation into two stages. First, we propose a cross-space dual-branch denoising process. This process dynamically decodes 3D latents into voxel space for CLIP-guided orientation alignment and Signed Distance Field (SDF) blending, which ensures seamless geometric fusion. Second, we introduce a view-conditioned texture synthesis module that projects and aggregates view-specific 2D diffusion priors onto the fused geometry. Extensive experiments demonstrate that our method generates highly realistic, dual-semantic 3D illusions in just 3-5 minutes. It significantly outperforms existing methods in geometric integrity, semantic recognizability, and efficiency. Project page: https://siang1105.github.io/JanusMesh.github.io/

한 줄 요약

JanusMesh는 텍스트 입력으로 3–5분 내에 생성 가능한, 시점에 따라 의미가 달라지는 3D 시각적 환영을 생성하는 훈련 없는 프레임워크이다.

핵심 기여도

훈련 없이 텍스트 기반 3D 시각적 환영을 생성하는 **zero-shot 프레임워크** 제안.
**Cross-space dual-branch denoising**과 **SDF blending**을 통해 기하학적 일관성을 보장.
**View-conditioned texture synthesis** 모듈로 2D diffusion prior를 3D 기하학에 투영하여 텍스처 현실감 향상.
기존 방법 대비 8배 이상 빠른 3–5분 내 생성 속도 달성.

핵심 아이디어

기존 3D 환영 생성 방법은 최적화 기반으로 느리고, 단순한 스티칭은 기하학적 일관성과 텍스처 일관성을 저해한다. JanusMesh는 이를 해결하기 위해 생성 과정을 두 단계로 분리한다. 첫 번째 단계에서 **TRELLIS** 기반의 **dual-branch denoising**을 사용하여 3D 잠재 공간을 볼록 공간으로 동적으로 디코딩하고, **CLIP-guided orientation alignment**와 **SDF blending**을 통해 기하학적 융합을 수행한다. 두 번째 단계에서는 **Stable Diffusion**의 2D prior를 **view-conditioned texture synthesis** 모듈을 통해 3D 기하학에 투영하여 텍스처 일관성을 보장한다. 이는 기존의 단일 3D 객체 최적화 방식과는 차별화된 접근법이다.

기술적 접근법

**Cross-space dual-branch denoising**: 3D 잠재 공간을 볼록 공간으로 디코딩하며, CLIP을 사용한 시점 정렬과 SDF 기반 융합을 수행.
**SDF blending**: 두 객체의 기하학적 융합을 위해 Signed Distance Field를 사용하여 부드러운 경계를 생성.
**View-conditioned texture synthesis**: Stable Diffusion의 2D 텍스처 prior를 각 시점에 맞게 투영하고, 융합된 3D 기하학에 적용.
**CLIP-guided orientation search**: 객체의 윤곽 정렬을 위해 CLIP 기반 시점 정렬 알고리즘 사용.
**Noise Guidance**: 기하학적 충돌을 해결하기 위한 노이즈 기반 가이드 알고리즘.

주요 결과

**3–5분 내 생성**으로 기존 최적화 기반 방법(약 40분) 대비 약 **8배 이상 빠름**.
**CLIP, GPT-4.1-mini, FID/KID, Object Detection** 메트릭을 사용한 평가에서 기존 방법 대비 **기하학적 일관성, 의미 인식 가능성, 텍스처 현실감** 모두 개선됨.
**3개 객체 이상의 환영 생성**도 가능하며, 핵심 융합 절차 변경 없이 확장 가능.

의의 및 한계

JanusMesh는 훈련 없이 텍스트 입력만으로 3D 환영을 생성하는 데 성공하여, 3D 생성 모델의 실용성과 유연성을 높이는 데 기여한다. 특히, 기하학적 일관성과 텍스처 일관성을 동시에 달성한 점이 학술적·산업적으로 의미가 있다. 그러나 입력 텍스트의 복잡성에 따라 생성 결과의 질이 달라질 수 있으며, 매우 복잡한 객체의 경우 융합 과정에서 기하학적 충돌이 발생할 수 있다는 한계가 있다.

실용적 활용

JanusMesh는 3D 아트, 게임 개발, 가상 현실(VR) 콘텐츠 제작, 마케팅 및 광고 분야에서 시각적 환영을 활용한 창의적 표현에 적용 가능하다. 또한, 훈련 없이 즉시 생성 가능한 점에서 디자이너나 개발자에게 빠른 프로토타이핑 도구로 활용될 수 있다.