Block3D: Efficient Text-to-3D Generation via Block-Wise Diffusion

While text-to-3D generation has advanced rapidly, achieving high geometric fidelity at low inference cost remains challenging. Existing text-to-3D methods either decode discrete shape tokens autoregressively or iteratively refine global 3D representations with diffusion or flow models. However, autoregressive decoding is sequential and cannot revise errors, whereas diffusion and flow-matching models repeatedly process the full representation, making high-quality generation increasingly expensive. In this paper, we propose Block3D, a block-wise diffusion framework that partitions the discrete shape-token sequence into contiguous blocks, generates the blocks autoregressively, and jointly denoises all tokens within the current block. To alleviate error accumulation, we introduce confidence-guided intra-block correction, which revises low-confidence tokens before each block is finalized. On a held-out set from TRELLIS-500K, Block3D reduces mean end-to-end generation time from 25.71 seconds to 4.99 seconds, achieving a 5.15times speedup over the fine-tuned autoregressive baseline without sacrificing geometric fidelity.

한 줄 요약

Block3D는 블록 단위 확산을 통해 텍스트-3D 생성 속도를 5.15배 향상시키며 기하학적 정확도를 유지한다.

핵심 기여도

블록 단위 확산(Block-wise Diffusion)을 도입하여 Cube 기반의 텍스트-3D 생성 속도를 5.15배 개선.
신뢰도 기반 블록 내 수정(Confidence-guided intra-block correction)을 통해 오류 누적을 완화.
TRELLIS-500K 데이터셋에서 100개 객체 평가 결과, 기하학 지표(Geometric metrics)에서 기존 방법 대비 최고 성능 달성.
블록 내 병렬 확산과 자동 생성의 인과성을 블록 단위로 이동하여 생성 지연 감소.

핵심 아이디어

기존 텍스트-3D 생성 방법은 자동 생성(Autoregressive) 방식이 순차적이고 오류 수정이 불가능하거나, 확산 모델이 전체 표현을 반복 처리하여 비용이 높은 문제가 있었다. Block3D는 이 두 접근의 단점을 극복하기 위해, **블록 단위 확산**을 도입했다. 이는 Cube 모델의 개별 토큰 기반 인과성을 블록 단위로 전환하여, 블록 내 모든 토큰을 **병렬 확산**하고, **양방향 어텐션**을 통해 공동으로 정제한다. 또한, 블록이 완료되기 전에 **신뢰도 기반 수정**을 통해 낮은 신뢰도 토큰을 수정함으로써 오류 누적을 완화한다. 이는 마스킹된 위치를 채우는 동시에 토큰 간 편집(Token-to-token editing)을 결합한 방식이다.

기술적 접근법

**블록 단위 확산(Block-wise Diffusion)**: Cube 모델의 토큰 시퀀스를 연속된 블록으로 분할하고, 블록 단위로 자동 생성.
**병렬 확산 및 양방향 어텐션**: 각 블록 내 토큰은 병렬로 확산되며, 어텐션 메커니즘을 통해 상호 영향을 주고받음.
**신뢰도 기반 블록 내 수정(Confidence-guided intra-block correction)**: 각 블록이 완료되기 전에 낮은 신뢰도 토큰을 수정. 마스킹된 위치를 채우는 동시에 토큰 간 편집을 수행.
**LLaDA2.1 편집**, **Shape-code corruption**, **Residual rollout supervision** 등의 모듈을 결합.
블록 크기, 확산 단계 수, 토큰 간 편집 등을 실험적으로 조정 (Ablation Study 참조).

주요 결과

TRELLIS-500K 데이터셋에서 100개 객체 평가 결과, Block3D는 기하학 지표에서 기존 방법 대비 최고 성능 달성.
Cube 기반 자동 생성 기준 대비 **평균 생성 시간을 25.71초에서 4.99초로 감소**, **5.15배의 속도 향상**.
블록 내 병렬 처리와 신뢰도 기반 수정을 통해 오류 누적을 완화하면서도 기하학적 정확도 유지.

의의 및 한계

Block3D는 텍스트-3D 생성에서 **고품질 기하학과 저지연**을 동시에 달성하는 데 기여하며, Cube 기반 모델의 인과성을 블록 단위로 전환함으로써 효율성을 극대화했다. 특히, **신뢰도 기반 수정**은 오류 누적 문제를 완화하고, **병렬 확산**은 생성 속도를 크게 향상시켰다. 그러나, 블록은 Cube의 1차원 코드 순서를 따르며, **블록 간 오류**(예: 세마틱 파트 구조 오류)나 **교차 블록 노출 편향**(cross-block exposure bias)은 수정하지 못한다. 또한, 블록 크기와 확산 단계 수는 사전에 고정되어 있어 유연성이 제한된다.

실용적 활용

Block3D는 게임 개발, 영화 제작, 가상/증강현실, 로봇, 임베디드 AI 등에서 실시간 3D 생성이 필요한 상황에 적합하다. 특히, **높은 기하학적 정확도와 낮은 생성 지연**이 요구되는 산업 현장에서 활용 가능하며, Cube 기반 모델을 사용하는 연구에서 효율성을 높이려는 경우에도 유용하다.