SimuVerity: Benchmarking Agents for Engineering-Grade Simulink Model Generation

Existing Simulink benchmarks mainly evaluate whether generated models compile, execute, or resemble a reference model. These criteria do not establish whether a model satisfies its engineering requirements. We introduce SimuVerity, a benchmark of 101 text-to-executable Simulink model-generation tasks across ten engineering domains. For each task, executable-system profiles ground the engineering specification and four families of native simulation scenarios. A hierarchical evaluator first checks artifact delivery, native executability, and engineering qualification, then scores qualified models across six dimensions covering accuracy, output quality, mechanistic fidelity, control and causal integrity, operating-domain robustness, and dynamic response. We evaluate six agent systems with SimuVerity. The best system achieves an overall score of only 42.86. The results show that structural similarity is a poor proxy for engineering performance: capability bottlenecks arise both in producing qualified implementations and in satisfying multidimensional requirements after qualification. Meanwhile, some high-scoring models still exhibit severe visual-layout disorder. SimuVerity provides a systematic basis for assessing agents' engineering capabilities and diagnosing failures in executable Simulink model generation.

한 줄 요약

SimuVerity는 10개 공학 분야에서 101개의 텍스트-실행가능 Simulink 모델 생성 작업을 평가하는 벤치마크로, 최고 시스템의 종합 점수는 42.86에 불과하다.

핵심 기여도

SimuVerity: 10개 공학 분야에서 101개의 텍스트-실행가능 Simulink 모델 생성 작업을 포함한 벤치마크.
계층적 평가 프레임워크: A/Q/M/C/R/D 6차원 평가 체계와 네 가지 시뮬레이션 시나리오 가족.
6개 에이전트 시스템 평가: 최고 점수 42.86, 모델 자격 인증률 76.90%, 시각적 레이아웃 혼란 모델 8개 분류.

핵심 아이디어

기존 Simulink 벤치마크는 생성된 모델이 컴파일되거나 실행되거나 참조 모델과 유사한지 여부만 평가하며, 공학적 요구사항을 충족하는지 확인하지 못한다. SimuVerity는 각 작업에 대해 실행 가능한 시스템 프로파일과 네 가지 시뮬레이션 시나리오를 통해 공학적 명세를 구체화하고, A/Q/M/C/R/D 6차원 평가 체계를 도입하여 모델의 공학적 성능을 다차원적으로 평가한다. 이는 단순한 구조적 유사성 대신 실제 공학적 요구사항을 중심으로 평가한다는 점에서 혁신적이다.

기술적 접근법

**SimuVerity 벤치마크**: 10개 공학 분야, 101개 텍스트-실행가능 Simulink 모델 생성 작업.
**평가 프레임워크**: A/Q/M/C/R/D 6차원 평가 (정확도, 출력 품질, 메커니즘 신뢰도, 제어 및 인과적 무결성, 운영 영역 내 견고성, 동적 응답).
**실험 설정**: 6개 에이전트 시스템 평가, 각 작업-시스템 쌍은 3회 실행 후 평균 점수 산출.
**도구 제거 실험 (Ablation Setup)**: Claude Opus 4.8에서 No-Simulation MCP, Batch-only 조건으로 도구 기능 제거 실험 수행.

주요 결과

**최고 점수**: 42.86 (6개 시스템 중 최고).
**자격 인증률**: 76.90% (에이전트가 생성한 모델 중 공학적 자격을 갖춘 비율).
**시각적 레이아웃 혼란**: 31개 모델 중 8개가 70점 이상이지만 심각한 레이아웃 문제 보임.
**도구 제거 실험**: 시뮬레이션 피드백과 MCP 접근이 성능에 유의미한 영향을 미침.

의의 및 한계

SimuVerity는 공학적 요구사항을 중심으로 Simulink 모델 생성 에이전트를 평가하는 체계적인 기반을 제공하며, 단순한 실행 가능성이나 구조적 유사성에 의존하는 기존 평가 방식의 한계를 보완한다. 그러나 MATLAB/Simulink에 의존하는 점에서 평가 속도가 느리고, 확장성에 제약이 있다. 또한, 일부 고점수 모델이 시각적 레이아웃 문제를 보이는 점은 공학적 성능과 사용자 경험 간 균형이 필요함을 시사한다.

실용적 활용

SimuVerity는 자동차, 항공, 제어 시스템 등 다양한 공학 분야에서 모델 기반 설계(MBD)를 수행하는 연구자와 엔지니어에게 유용한 평가 도구로 활용될 수 있다. 특히, LLM 기반 에이전트가 생성한 Simulink 모델의 공학적 신뢰도를 검증하고, 개선 방향을 도출하는 데 기여할 수 있다.