Procedura: Agentic 3D Modeling with Procedural Control

Native 3D generators now recover impressive mesh geometry from a single image. However, a dense mesh stays soft where a machined object should be sharp, it carries no part decomposition, and it exposes no parameter a user could edit. To address this, we explore the paradigm of 3D shape as code, leveraging and scaling the coding ability of an LLM for 3D modeling. We introduce Procedura, a novel 3D modeling agent framework that writes an object as a procedural assembly, a parametric program whose named parts are joined by typed, machine-checkable mates. From a text prompt, the agent plans the object as an assembly graph and writes the program part by part, solving each placement from the mated frames rather than guessing it, and admitting a part only once compile, mate, and connectivity checks pass. A decoupled vision critic then refines the assembly one diagnosed fix at a time. Moreover, the same graph carries per-part materials and a simulator-validated articulation. We evaluate on P3D-Bench under its assembly judge, and with the same judge on MechBench-36, our hard-surface benchmark. On both, Procedura outperforms state-of-the-art native 3D generators and every prior 3D-code agent on judged quality, produces the sharpest edges of any method we evaluate, and is the only one whose output is an editable, part-structured program.

한 줄 요약

Procedura는 텍스트 프롬프트를 기반으로 3D 모델을 프로시저적 어셈블리 형태로 생성하는 에이전트 프레임워크로, 정밀한 기하 구조와 편집 가능한 파트 분해를 실현한다.

핵심 기여도

**프로시저적 어셈블리 프레임워크**: Procedura는 CSG 기반의 프로그래밍 방식으로 3D 모델을 생성하며, 각 파트는 명명된 모듈로, 타입화된 매트로 연결된다.
**Mate-Driven 생성**: 매트 기반의 생성 방식으로, 각 파트의 배치는 기계적으로 검증되며, 연결성과 정확도를 보장한다.
**편집 가능한 파트 구조**: 생성된 모델은 파트별로 편집 가능한 프로그램 형태로, 기존 메시 기반 생성 방법과 구별된다.
**MechBench-36 및 P3D-Bench에서의 성능 우수성**: Procedura는 두 벤치마크 모두에서 기존 3D 생성기와 3D 코드 생성 에이전트를 앞선다.

핵심 아이디어

Procedura는 3D 모델을 코드로 생성하는 새로운 패러다임을 제시한다. 기존의 3D 생성기는 정밀도와 편집 가능성에 한계가 있었으나, Procedura는 프로시저적 어셈블리 프로그램을 통해 이 문제를 해결한다. 이 프로그램은 **Constructive Solid Geometry (CSG)** 기반으로, 각 파트는 명명된 모듈이며, 타입화된 매트(예: 핀-소켓, 회전 축)로 연결된다. 매트 기반의 생성은 각 파트의 배치를 기계적으로 해결하며, 컴파일, 매트, 연결성 검증을 통해 생성 과정을 안정화한다. 이는 단일 생성 과정이 아닌, 여러 단계로 분할된 체계적인 생성을 가능하게 한다. 또한, **Vision Critic**이 생성된 어셈블리에 대해 진단적 수정을 반복적으로 수행하여 품질을 개선한다.

기술적 접근법

**프로시저적 어셈블리**: Procedura는 3D 모델을 CSG 기반의 프로그램으로 생성하며, 각 파트는 명명된 모듈로 구성된다.
**매트 기반 배치**: 파트의 배치는 기계적으로 해결되며, 매트 타입(예: 핀-소켓, 회전 축)에 따라 정확도를 보장한다.
**컴파일 및 검증**: 각 파트는 컴파일, 매트, 연결성 검증을 통과해야 포함되며, 이는 생성 과정의 안정성을 높인다.
**Vision Critic**: 생성된 어셈블리에 대해 진단적 수정을 반복적으로 수행하며, 품질을 개선한다.
**LLM 활용**: GPT-5.6-sol, Gemini 3.7 Flash와 같은 LLM이 생성 과정을 주도하며, 3D 학습 없이도 정밀한 모델을 생성한다.
**하이퍼파라미터**: 파이프라인은 단일 LLM을 사용하며, 모든 다른 구성 요소는 결정론적이다.

주요 결과

**MechBench-36**: Procedura는 0.828의 컴포지트 점수를 기록하며, TRELLIS.2(0.810), Adam CAD(0.799)를 앞선다.
**P3D-Bench**: Procedura는 0.590(Gemini 3.7 Flash), 0.575(GPT-5.6-sol)의 점수를 기록하며, 기존 방법을 0.066 이상 앞선다.
**Edge 구조**: Procedura는 158.1(Gemini 3.7 Flash), 185.2(GPT-5.6-sol)의 날카로운 에지 단위를 생성하며, 기존 방법 대비 2.6×, 3.1×의 개선을 보인다.
**Aesthetics 개선**: Gemini 3.7 Flash 기준 +0.105(p=0.019), GPT-5.6-sol 기준 +0.059(p=0.56)의 개선을 보인다.
**CLIP 개선**: +1.80(p=0.011), +0.85(p=0.011)의 개선을 보인다.

의의 및 한계

Procedura는 기존 3D 생성 방법의 한계를 극복하며, 정밀한 기하 구조와 편집 가능한 파트 분해를 가능하게 한다. 특히, **CSG 기반 프로그래밍**은 기존 메시 기반 생성 방법과 비교해 날카로운 에지와 정확한 연결성을 제공한다. 또한, **Vision Critic**을 통해 생성 과정을 반복적으로 개선하며, 품질을 높인다. 그러나, Procedura는 단일 LLM을 사용하며, 이는 생성 과정의 유연성과 범용성에 제약을 줄 수 있다. 또한, 복잡한 어셈블리 생성에는 상당한 계산 자원이 필요하며, 이는 실용적 적용 시 한계로 작용할 수 있다.

실용적 활용

Procedura는 게임 개발, 시뮬레이션, 제조 분야에서 활용될 수 있으며, 특히 **정밀한 3D 모델 생성**이 필요한 산업에서 유용하다. 예를 들어, **로봇, 장비, 자동차** 등의 복잡한 어셈블리 모델을 생성할 수 있으며, **편집 가능한 파트 구조**는 설계 변경 및 시뮬레이션에 유리하다. 또한, **CAD 도구와의 통합**이 가능하며, 프로그래밍 기반의 생성 방식은 비전문가 사용자도 쉽게 모델을 조정할 수 있도록 지원한다.