SemaPLC: A Project-Grounded, Verification-Gated Agent Harness for PLC Code Generation

Programmable logic controllers (PLCs) run industrial plants, and large language models can already generate independent program organization units (POUs) for them. Whether such logic integrates into an existing PLC project and then runs correctly has been checked only in limited tests. We present SemaPLC, a project-grounded and verification-gated agent harness assembled from conventional tools but governed by a strict completion rule. Rather than stopping when the model judges its own output adequate, SemaPLC declares a task complete only when logged external checks confirm it. Those checks cover the specification, the compilation, and the behavior on a live runtime. On 117 independent-POU tasks matching existing benchmarks, it attains the highest strict verified pass rate on all seven models (72.6\% mean). On a project-context track of 65 tasks whose generated logic must compile and run inside a real project, it attains the highest mean on integrated compilation, static behavior, and dynamic behavior. Of the three layers, dynamic behavior is the most revealing. We measure it by deploying the generated and the reference logic to a live PLC runtime and comparing their executed traces. All methods fall within 10 static points of one another, whereas dynamic scores separate them sharply, from 22.4 to 31.4 for the baselines against 52.2 for SemaPLC. Overall, our verification-gated harness raises the mean at every layer and most sharply at runtime. Execution, not static scoring, is the faithful test of whether generated control logic actually works. SemaPLC is open-sourced at https://github.com/midea-ai/SemaPLC.

한 줄 요약

SemaPLC는 PLC 코드 생성 시 프로젝트 기반 및 검증 기반의 에이전트 허네스를 제시하여 실행 시 정확도를 52.2% 달성한다.

핵심 기여도

SemaPLC는 117개 독립 POU 작업에서 7개 모델 모두에서 72.6%의 평균 정확도를 달성.
65개 프로젝트-컨텍스트 작업에서 통합 컴파일(89.4), 정적 행동, 동적 행동(52.2)에서 최고 성능.
기존 베이스라인 대비 22.4~31.4 범위 대비 52.2의 동적 점수를 달성.
실행 기반 검증을 통해 생성된 제어 논리의 실제 작동 여부를 정확히 평가.

핵심 아이디어

SemaPLC는 PLC 코드 생성 시 모델이 자체적으로 판단하는 것이 아닌, 외부 검증(스펙, 컴파일, 런타임 실행)을 기반으로 작업 완료를 결정한다. 이는 기존 연구에서 주로 고려되지 않았던 프로젝트 내 통합 및 런타임 동작 검증을 강조한다. 특히, 생성된 코드가 실제 PLC 런타임 환경에서 실행되며 추적(traces)을 비교함으로써 동적 행동을 평가하는 점이 핵심이다. 이는 정적 점수보다 실행 결과가 더 믿을 수 있음을 입증한다.

기술적 접근법

**SemaPLC 허네스**: 기존 도구를 활용하지만, 완료 조건은 외부 로그 기반 검증에 의존.
**검증 단계**: 스펙 확인, 컴파일 확인, 런타임 실행 확인.
**데이터셋**: 117개 독립 POU 작업, 65개 프로젝트-컨텍스트 작업.
**모델**: 7개 백본 모델 사용.
**평가 지표**: 통합 컴파일, 정적 행동, 동적 행동.
**런타임 평가**: 생성된 논리와 참조 논리를 PLC 런타임에 배포하여 실행 추적 비교.

주요 결과

독립 POU 작업에서 72.6%의 평균 정확도 달성 (베이스라인 대비 +17.3%).
프로젝트-컨텍스트 작업에서 통합 컴파일 89.4, 동적 행동 52.2.
기존 베이스라인 대비 동적 점수 차이: 22.4~31.4 대 52.2.
정적 점수는 10점 이내 차이지만, 실행 시 차이가 명확히 드러남.

의의 및 한계

SemaPLC는 PLC 코드 생성 시 정적 점수보다 실행 결과를 기반으로 검증함으로써 실제 작동 여부를 정확히 평가할 수 있는 새로운 접근법을 제시한다. 특히, 프로젝트 내 통합 및 런타임 동작 검증을 강조하여 산업 현장에서의 신뢰성을 높일 수 있다. 그러나 한계로는 동적 점수는 제한된 시나리오만 평가하며, 미见过 조건에서는 정확도가 보장되지 않으며, 가장 강력한 모델에서는 성능 차이가 줄어드는 점이 있다.

실용적 활용

SemaPLC는 제조, 전력, 물 처리 시설 등 PLC가 사용되는 산업 현장에서 신뢰성 있는 코드 생성을 지원할 수 있다. 또한, PLC 개발 환경에서 편집, 생성, 배포 과정을 동일한 검증 게이트로 통합하는 데 활용 가능하다.