Foundation Models for Automatic CAD Generation

Recent advances in Large Language Models (LLMs) and Vision-Language Models (VLMs) enable the automatic generation of parametric 3D designs from natural-language specifications. This chapter presents an empirical study of foundation models for automatic Computer-Aided Design (CAD) generation of mechanical parts, using a unified evaluation pipeline and a curated benchmark of 97 engineering design problems. We introduce LLMForge, a multi-model text-to-CAD framework integrating JSON-schema validation, analytic feature scoring, mesh synthesis, and multi-round iterative refinement, studied under two critique regimes. IterTracer uses a Phong-shaded ray-trace renderer with analytic visual metrics (silhouette IoU, hole visibility, edge clearance, aspect-ratio conformance) for lightweight geometry-aware feedback across rounds. IterVision replaces the analytic scorer with a VLM semantic critic (Qwen2.5-VL-72B) that evaluates rendered views via chain-of-thought visual reasoning, assessing spatial coherence and design intent. On a benchmark spanning four canonical geometry families (plates with holes and bolt circles, multi-feature boxes, flanged cylinders, and L-brackets), we evaluate seven foundation models: DeepSeek-V3.2, Qwen3-235B-A22B, Llama-3.3-70B, Gemma-3-27B, GLM-4.5, MiniMax-M2.1, and INTELLECT. Under IterTracer, the four highest-ranked models form a tight cluster (overall mean in [0.885, 0.890]) with 98.97% mesh success, showing that compact instruction-tuned models can match substantially larger systems. VLM-based critique in IterVision yields 100% watertight mesh generation on the leading model while surfacing systematic difficulty on rotationally symmetric geometries such as cylinders, where visual and semantic scoring diverge most. We discuss benchmark design, failure modes, CAD-oriented prompting, and implications for industrial workflows and scalable automated mechanical design.

한 줄 요약

LLMForge를 통해 97개의 공학 설계 문제에서 텍스트를 기반으로 CAD 모델을 생성하고, 두 평가 체계에서 7개의 기초 모델을 비교 분석한 연구입니다.

핵심 기여도

LLMForge: JSON 스키마 검증, 분석적 특징 점수, 메시 합성, 다중 반복 정제를 통합한 텍스트-투-CAD 프레임워크를 제안.
IterTracer: Phong-shaded 레이-트레이싱 렌더러와 silhouette IoU, hole visibility 등 4가지 분석적 시각 지표를 사용한 경량 기하 피드백 시스템.
IterVision: Qwen2.5-VL-72B 기반의 시멘틱 크리틱을 도입하여 시각적 점수와 의미적 점수의 차이를 분석.
98.97%의 메시 성공률과 100% 완전 밀폐 메시 생성 가능성을 보여주는 결과를 제시.

핵심 아이디어

기존 CAD 설계는 전문 지식이 필요하며 자동화가 어려웠으나, LLM을 활용한 텍스트-투-CAD 시스템은 자연어 입력으로 3D 설계를 생성할 수 있게 되었다. 본 연구는 LLMForge라는 프레임워크를 통해 텍스트 기반 CAD 생성을 체계적으로 평가하고, 두 가지 평가 체계(IterTracer, IterVision)를 통해 모델의 성능을 비교한다. IterTracer는 렌더링된 이미지에 기반한 분석적 지표를 사용해 기하학적 피드백을 제공하며, IterVision은 VLM(Qwen2.5-VL-72B)을 도입하여 시각적 일관성과 설계 의도를 평가한다. 특히, IterVision은 회전 대칭 기하 구조(예: 실린더)에서 시각적 점수와 의미적 점수가 가장 크게 분기되는 현상을 드러내며, 모델의 한계를 명확히 보여준다.

기술적 접근법

**LLMForge**: JSON 스키마 검증, 분석적 특징 점수, 메시 합성, 다중 반복 정제를 통합한 텍스트-투-CAD 프레임워크.
**IterTracer**: Phong-shaded 레이-트레이싱 렌더러와 silhouette IoU, hole visibility, edge clearance, aspect-ratio conformance 4가지 지표를 사용.
**IterVision**: Qwen2.5-VL-72B 기반의 시멘틱 크리틱을 도입, 렌더링된 이미지에 대한 chain-of-thought 시각 추론을 수행.
**평가 대상 모델**: DeepSeek-V3.2, Qwen3-235B-A22B, Llama-3.3-70B, Gemma-3-27B, GLM-4.5, MiniMax-M2.1, INTELLECT.
**평가 기준**: schema validation, mesh soundness, feature adherence, visual fidelity 4개 축으로 평가.

주요 결과

**IterTracer 평가**: 상위 4개 모델(DeepSeek-V3.2, Qwen3-235B-A22B, Llama-3.3-70B, Gemma-3-27B)은 평균 점수 0.885~0.890, 메시 성공률 98.97%를 기록.
**IterVision 평가**: Gemma-3-27B는 100% 완전 밀폐 메시를 생성.
**회전 대칭 기하 구조(실린더)에서의 문제**: VLM 기반 평가에서 시각적 점수와 의미적 점수가 가장 크게 분기됨.
**반복 정제 효과**: 상위 모델의 53~55%가 2라운드 이상에서 최고 점수 달성, 약한 모델은 평균 0.19의 점수 상승.

의의 및 한계

LLMForge는 기초 모델의 텍스트-투-CAD 능력을 체계적으로 평가할 수 있는 프레임워크로, 기하학적 정확성과 의미적 일관성을 동시에 평가하는 새로운 접근법을 제시한다. 특히, IterVision은 VLM을 활용한 시멘틱 평가를 통해 기존 분석적 평가와는 다른 품질 신호를 제공하며, 모델의 시각-기하학적 분리 현상을 드러내는 데 기여한다. 그러나 회전 대칭 구조물에서의 성능 저하와, VLM 기반 평가가 일부 모델에 대해 불균형한 점수를 주는 한계가 존재한다. 또한, 현재는 4가지 기하학적 범주만 다루고 있어, 복잡한 자유형 표면이나 다체 조립 구조에 대한 평가가 필요하다.

실용적 활용

LLMForge는 항공우주, 정밀 제조 분야에서 대량의 구조 부품을 자동 생성하거나 재설계하는 데 활용될 수 있다. 특히, 반복적인 설계 작업에서 인력의 개입을 최소화하고, 빠른 프로토타이핑을 가능하게 하는 데 기여할 수 있다. 또한, VLM 기반 평가를 통해 설계 의도를 더 정확히 반영한 CAD 모델 생성이 가능해진다.