LMBuild: Evaluating LLM Agents for Generating Buildable and Functional Structures

LLM-based agents are increasingly capable of generating complex 3D structures, with the potential to reshape how objects are designed and realized in the physical world. Yet, producing elegant geometry is fundamentally different from producing objects that can be built and perform their intended functions. Existing evaluations largely focus on geometric quality while overlooking physical realizability. We introduce LMBuild, a benchmark for evaluating LLM agents on generating buildable and functional structures. LMBuild represents generated objects as assembled structures comprising part decompositions, joints, materials, and sequences. To support reproducible evaluation, we provide a unified framework consisting of: (1) an interactive environment in which agents can use tools to retrieve, create, and place components to construct objects; (2) a curated benchmark that repurposes established CAD datasets and augments them with knowledge from Wikipedia; and (3) a evaluation framework covering structural soundness, functional affordance, design quality, and physical realization. Evaluations across 30 systems reveal several intriguing findings: (a) Soundness and alignment are no longer the primary bottlenecks for frontier closed-source models, while functional affordance and physical operability remain substantially more challenging; (b) stronger models more effectively create new components, whereas weaker models tend to rely on retrieval; and (c) providing functional specifications substantially improves part completeness, kinematics, and physical operability. These results show that generating real-world structures requires deeper reasoning about functional affordances, mechanics, and designing and creating novel components. We expect LMBuild to provide a foundation for measuring progress and incentivizing research toward agents that generate buildable and functional structures.

한 줄 요약

LMBuild는 생성된 3D 구조물이 실제로 제작 가능하고 기능적으로 작동하는지 평가하는 체계적인 벤치마크를 제시한다.

핵심 기여도

LMBuild는 구조적 안정성, 기능적 의도, 설계 품질, 물리적 실현 가능성의 4차원 평가 프레임워크를 제시.
2,549개의 레퍼런스 타겟을 생성, 200개 핵심 데이터셋을 선정하며 Wikipedia 지식을 통합.
30개 시스템(6개 클로즈드 API, 13개 오픈소스 LLM, 11개 도메인별 시스템)을 평가, 기능적 의도와 물리적 작동 가능성의 주요한 한계를 드러냄.
생성 모델이 새로운 부품을 생성하는 능력이 강력한 모델일수록 우수하며, 기능적 명세 제공은 30% 이상의 성능 향상 효과를 보임.

핵심 아이디어

기존 3D 생성 평가가 주로 시각적 품질에 집중하는 반면, LMBuild는 생성된 구조물이 실제로 제작 가능하고 기능적으로 작동하는지 평가하는 새로운 접근을 제시한다. 이는 단순히 3D 모델을 생성하는 것을 넘어, 부품 분해, 조인트, 재료, 조립 순서를 포함한 조립 구조로 표현함으로써, 물리적 실현 가능성과 기능적 의도를 평가한다. 특히, LMBuild는 Wikipedia 지식을 활용해 기능적 핵심 부품과 운동학적 관계를 텍스트 기반으로 평가하며, 이를 통해 생성된 구조물이 실제 물리적 제약과 기능적 요구사항을 충족하는지 판단한다.

기술적 접근법

**평가 환경**: 생성된 부품을 검색, 생성, 배치할 수 있는 인터랙티브 3D 환경 제공.
**데이터셋**: 기존 CAD 데이터셋(약 368K)에서 2,549개의 레퍼런스 타겟을 선정, 200개 핵심 데이터셋으로 구성.
**평가 프레임워크**:

1. 구조적 안정성 (structural soundness)
2. 기능적 의도 (functional affordance)
3. 설계 품질 (design quality)
4. 물리적 실현 가능성 (physical realization)

**기하적 정의**: 부품 간 인터페이스를 정의하기 위해 voxel 기반의 `G_i^⊖` (침식 코어)와 `G_i^⊕` (하울로)를 사용.
**조인트 정의**: 조인트의 원점이 부품 표면으로부터 2cm 이내에 있어야 유효하며, 물리적 연결은 interlocking, fastening, brick-based 연결 등 3가지 조건 중 하나를 만족해야 함.

주요 결과

**구조적 안정성 및 시각 정렬**: 최신 클로즈드 모델은 구조적 안정성과 시각 정렬에서 거의 완벽한 성능을 보임.
**기능적 의도 및 물리적 작동 가능성**: 모든 모델이 기능 부품의 완전성, 운동학적 정확성, 시뮬레이션 기반 작동 가능성에서 큰 한계를 보임.
**부품 생성 능력**: 강력한 모델은 새로운 부품을 생성하는 데 효과적이며, 약한 모델은 검색에 의존함.
**명세 제공 효과**: 명시적인 기능적 명세 제공은 기능 부품 완전성, 운동학 정확성, 물리적 작동 가능성에서 30% 이상의 성능 향상을 유도함.

의의 및 한계

LMBuild는 3D 구조 생성 모델이 단순히 시각적으로 매력적인 모델을 생성하는 것을 넘어, 실제로 제작 가능하고 기능적으로 작동하는 구조를 생성하는 능력을 평가할 수 있는 체계적인 기반을 제공한다. 특히, 기능적 의도와 물리적 제약을 고려한 평가 체계는 기존 평가 방법의 한계를 보완하며, 오픈소스와 최첨단 모델 간의 격차를 진단하는 데 유용하다. 그러나, 설계 품질, 사용자 친화적 기하학, 조립 가능성, 작동 가능성 등은 아직 완전히 객관화된 평가가 어려운 영역이며, 제조 및 물리적 테스트를 통한 추가 검증이 필요하다.

실용적 활용

LMBuild는 건축, 제조, 로봇 공학 등에서 실제 제작 가능한 3D 구조를 생성하는 AI 에이전트의 개발과 평가에 활용될 수 있다. 또한, 기능적 명세를 기반으로 한 설계 자동화, 부품 생성 능력 향상, 물리적 제약을 고려한 설계 최적화 등 다양한 연구 분야에 기초 자료로 활용될 수 있다.