Closed-Loop Control with Rule-Aligned Small Language Models and Multi-Agent Self-Correction

A key step toward autonomous industrial operation is the ability to create and reconfigure control policies from natural-language requirement specifications, with minimal or no manual redesign. In this setting, policy generation by AI agents can be a credible path when paired with a plant-aware validator (e.g., a digital twin) that can check generated candidate actions before execution. However, practical deployment is constrained by inference latency and compute footprint: large cloud-based models are often too slow, opaque, or data-sensitive for edge closed-loop use. This work investigates whether a compact Small Language Model (SLM) can be retrained for control reasoning and embedded in a validator-guided correction loop. We use a Qwen2.5-1.5B model aligned via Group Relative Policy Optimization (GRPO), combined with (i) an action agent, (ii) a symbolic/digital-twin-style validation layer, and (iii) a reprompting agent that iteratively steers outputs toward valid actions. In randomized thermal-control simulations (30 experiments with 500 steps each), the framework achieves 91.5% average action-alignment accuracy (86.3%--100% across cases) at 3.84\,s mean inference latency. Under symbolic re-mapping, it maintains a 95% in-range rate, indicating robust physical regulation despite reduced token-level agreement. These results support SLM+validator architectures as a practical path toward reconfigurable autonomous control at the edge.

한 줄 요약

SLM과 디지털 트윈 기반 검증 루프를 결합해 엣지에서의 재구성 가능한 자율 제어를 실현한다.

핵심 기여도

Qwen2.5-1.5B 모델을 GRPO를 통해 정렬하여 91.5%의 평균 액션 정렬 정확도 달성.
3.84초의 평균 추론 지연 시간으로 엣지 환경에서 실시간 제어 가능.
95%의 in-range rate를 유지하며 토큰 수준 일치율 감소에도 물리적 규제 안정성 확보.

핵심 아이디어

자연어 요구사항으로부터 제어 정책을 생성하고 재구성하는 것은 자율 산업 운영의 핵심이다. 기존 클라우드 기반 대형 모델은 추론 지연, 불투명성, 데이터 민감도로 인해 엣지 환경에서 제한적이다. 본 연구는 GRPO를 통해 정렬된 SLM(Qwen2.5-1.5B)을 사용하여, 액션 에이전트, 디지털 트윈 스타일 검증 레이어, 리프롬프팅 에이전트를 결합한 반복적 수정 루프를 구축한다. 이는 토큰 수준 정확도가 낮아도 물리적 제어 성능을 유지할 수 있다는 통찰을 반영한 접근법이다.

기술적 접근법

**모델**: Qwen2.5-1.5B SLM을 GRPO를 통해 정렬.
**구성 요소**:
액션 에이전트 (action agent)
기호/디지털 트윈 스타일 검증 레이어 (symbolic/digital-twin-style validation layer)
리프롬프팅 에이전트 (reprompting agent)
**실험 환경**: 30개 실험, 500단계씩의 랜덤 열 제어 시뮬레이션.
**추론 지연**: 3.84초 평균.

주요 결과

**열 제어 시뮬레이션**: 91.5%의 평균 액션 정렬 정확도 (86.3%–100% 범위).
**기호 재매핑**: 95%의 in-range rate 유지.
**기존 대비 개선**: 토큰 수준 일치율 감소에도 불구하고 물리적 규제 성능 유지.

의의 및 한계

본 연구는 SLM과 검증 레이어를 결합한 엣지 자율 제어 구조의 실현 가능성을 입증하며, 재구성 가능한 제어 시스템 개발에 기여한다. 그러나 3.84초의 추론 지연은 실시간 제어 요구에 따라 추가 최적화가 필요할 수 있다. 또한, 다양한 산업 환경에서의 일반화 가능성은 추가 실험을 통해 검증되어야 한다.

실용적 활용

본 연구는 제조, 에너지, 자동화 시스템 등에서 자연어 기반 제어 정책 생성 및 엣지에서의 실시간 실행이 필요한 상황에 적용 가능하다. 특히, 디지털 트윈 기반 검증을 통해 안전성을 확보하면서도 유연한 제어가 필요한 산업 현장에 유용하다.