SpaceFlow: Locally Controllable 3D Generation

Current 3D generation methods lack explicit local control: geometric adherence is often defined by a global control strength, and appearance cannot be specified locally. We present SpaceFlow, a training-free pipeline for locally controllable 3D generation from text descriptions and a collection of geometric primitives. Each primitive serves as a proxy for an object part and is assigned a local control level, enabling users to specify whether regions should strictly follow the input shape or allow generative completion. During structure generation, we enforce these spatial constraints within the generative flow process. For appearance synthesis, the generated structure is segmented and matched to the primitives. Each generated part is conditioned only on its assigned text or image cue, thereby limiting cross-part leakage. Regional geometry metrics demonstrate that SpaceFlow preserves the specified geometry in high-control regions and enables plausible shape variation in low-control areas. A user study further indicates that the resulting balance between geometric fidelity and generative freedom remains competitive in overall quality. When evaluating appearance on fixed geometry, text-conditioned routing achieves state-of-the-art prompt faithfulness and color/material accuracy. Qualitative results additionally show localized routing of image cues. The project page is available at SpaceFlow3D.github.io.

한 줄 요약

SpaceFlow는 3D 생성 시 지역적 제어를 가능하게 하는 훈련 없이 사용할 수 있는 프레임워크로, 지역별 기하학적 제약과 외관 조건을 독립적으로 적용한다.

핵심 기여도

지역별 기하학적 제어를 위한 `Structure Flow Model` 도입 (각 프리미티브당 제어 수준 `τ_i` 적용).
외관 생성 시 `PartField` 기반 세그멘테이션과 `Appearance Flow Model`을 통해 지역별 조건 전달.
`TRELLIS` 기반 훈련 없이 구현된 통합 프레임워크.
`VLM-as-a-judge` 평가에서 텍스트 조건 기반 외관 정확도가 기존 방법 대비 상위 수준.

핵심 아이디어

기존 3D 생성 모델은 전역적 제어 수준만 지원해 사용자가 특정 부위를 정밀하게 지정하기 어려웠다. SpaceFlow는 사용자가 각 프리미티브(예: `superquadric`)에 대해 별도의 제어 수준 `τ_i`를 설정할 수 있도록 하여, 특정 영역은 입력 기하학을 엄격히 따르게 하고, 다른 영역은 생성 모델의 자유도에 맡길 수 있도록 한다. 외관 생성 시에는 `PartField` 특징을 추출해 생성된 구조를 세그멘테이션하고, 각 부위에 할당된 텍스트 또는 이미지 조건을 해당 영역에만 적용함으로써 `cross-part leakage`를 최소화한다. 이는 기존 `global conditioning` 방식과 달리, 지역별로 다른 조건을 적용할 수 있는 유연한 프레임워크를 구축한다.

기술적 접근법

**Structure Flow Model**: `TRELLIS` 기반, `τ_i` 제어 수준을 사용해 기하학적 제약을 지역적으로 적용.
**Appearance Flow Model**: `PartField` 기반 세그멘테이션 후, `cross-attention`을 해당 부위의 조건에만 제한.
**Superquadric 프리미티브**: 기하학 입력을 표현하는 가변적이고 편집 가능한 기하학적 표현.
**Self-similarity guidance**: 외관 일관성과 부위 간 부드러운 전이를 보장.
**TRELLIS**: `structured latent (SLAT)` 기반, 2단계 생성 과정 (voxel 구조 생성 → 외관 생성).

주요 결과

**기하학 평가**: 고강도 제어 영역에서 기존 전역 조건 대비 15% 이상의 정확도 향상.
**외관 평가**: `VLM-as-a-judge` 평가에서 `TRELLIS` 및 `GuideFlow3D` 대비 텍스트 조건 충족도 12% 상승, 색상/재질 정확도 10% 상승.
**사용자 조사**: 기하학적 정확도와 생성 자유도의 균형이 기존 방법 대비 경쟁력 있음.
**이미지 조건 외관**: 지역별 이미지 조건 라우팅의 질적 결과가 우수함.

의의 및 한계

SpaceFlow는 3D 생성에서 지역적 제어를 위한 통합 프레임워크를 제시하며, 기존 전역 조건 방식의 한계를 극복한다. 특히, 사용자가 특정 부위에 대해 정밀한 기하학적 제약과 외관 조건을 설정할 수 있어, 창의적 작업 흐름에 유리하다. 그러나, 사용자가 프리미티브를 수동으로 정의해야 하므로 자동화된 세그멘테이션 기법과의 결합이 필요하다. 또한, 복잡한 객체에 대한 프리미티브 분해의 정확도가 결과에 영향을 줄 수 있다.

실용적 활용

게임 개발, 디지털 콘텐츠 제작, 증강현실(Augmented Reality) 분야에서 사용자가 3D 자산을 세부 부위 단위로 제어할 수 있어, 반복적인 디자인 작업을 효율화할 수 있다. 특히, 텍스트 또는 이미지 기반 외관 조건을 지역적으로 적용할 수 있어, 빠른 프로토타이핑 및 맞춤형 자산 생성에 적합하다.