CAX-Agent: A Lightweight Agent Harness for Reliable APDL Automation

Large language models deployed for MAPDL finite-element simulation face practical reliability challenges: without structured execution control, tool encapsulation, and fault recovery, outputs may be inconsistent and task failures are common. The Agent Harness paradigm addresses this by inserting domain-specific orchestration middleware that manages tool lifecycles, workflow state, and recovery escalation. This paper presents the architecture of CAX-Agent, a lightweight agent harness purpose-built for MAPDL automation, and empirically evaluates one of its core components -- the recovery policy.CAX-Agent organizes execution into three layers -- LLM service, agent harness, and solver backend -- with a recovery ladder that escalates from deterministic rule patching through model-driven regeneration to context enrichment and human intervention. We evaluate three recovery strategies (no_recovery, rule_only, and model_only) on 50 standard structural benchmarks with three repeated runs per strategy (450 case-runs total). Two independent human raters score task completion under blind conditions; inter-rater agreement is strong (quadratic weighted Cohen's kappa = 0.84, 96 percent of score pairs within one point). Model_only achieves the best completion rate (0.9267), task score (3.59/4), total score (9.16/10), and zero-intervention rate (0.84), outperforming rule_only (0.7733, 3.17/4, 7.03/10, 0.00) and no_recovery (0.6933, 2.74/4, 5.60/10, 0.00) with large effect sizes (Cliff's delta = 0.81-0.87). The benchmark uses deliberately simple geometries to isolate recovery-policy effects; we discuss the scope of these findings and directions for broader validation.

📋 한 줄 요약

**[엔지니어링 자동화 에이전트]** MAPDL 유한요소 시뮬레이션 자동화를 위한 경량 에이전트 하니스 CAX-Agent를 제안하고, 모델 기반 복구 전략이 최고 0.9267 완료율을 달성함을 입증했다.

🎯 핵심 기여도

MAPDL 유한요소 자동화 전용 경량 에이전트 하니스 아키텍처 제안
LLM 서비스 / 에이전트 하니스 / 솔버 백엔드의 3계층 구조와 복구 사다리(recovery ladder) 설계
결정론적 규칙 패칭 → 모델 기반 재생성 → 컨텍스트 보강 → 사람 개입의 단계적 escalation 정책 실증
세 가지 복구 전략(no_recovery, rule_only, model_only)을 450 case-runs로 비교하는 엄격한 실험 설계

💡 핵심 아이디어

LLM이 MAPDL 시뮬레이션을 직접 수행하면 출력 일관성·실패 복구가 큰 문제다. 에이전트 하니스 패러다임에 따라 도메인 특화 미들웨어를 삽입하여 도구 수명주기, 워크플로 상태, 복구 escalation을 관리하면 신뢰성을 크게 끌어올릴 수 있다. 특히 단순 규칙 패칭보다 모델 기반 재생성이 더 강력함을 데이터로 보였다.

🔬 기술적 접근법

3계층 아키텍처: LLM service / agent harness / solver backend
Recovery ladder: rule patching → model-driven regeneration → context enrichment → human intervention
50개 표준 구조해석 벤치마크에서 전략당 3회 반복, 총 450 case-runs 수행
블라인드 조건에서 두 명의 독립 평가자가 채점

📊 주요 결과

평가자 간 일치도: Cohen's kappa = 0.84, 점수 쌍의 96%가 1점 이내
model_only: 완료율 0.9267, 과제 점수 3.59/4, 총점 9.16/10, zero-intervention 0.84
rule_only: 0.7733 / 3.17 / 7.03 / 0.00, no_recovery: 0.6933 / 2.74 / 5.60 / 0.00
효과 크기 Cliff's delta = 0.81–0.87로 큰 차이 확인

💭 의의 및 한계

LLM 기반 CAE 자동화에서 "복구 정책"이 신뢰성의 결정적 요인임을 정량적으로 증명한 점이 의미 있다. 다만 벤치마크가 의도적으로 단순한 형상으로 구성되어 복잡한 산업 현장 형상·접촉·비선형 문제로의 일반화는 추가 검증이 필요하다.

🚀 실용적 활용

사내 CAE 워크플로(구조해석, 열전달, 진동 등)의 setup 자동화, 시뮬레이션 디버깅 보조, 신입 엔지니어 onboarding 도구 등 안정성이 중요한 엔지니어링 에이전트 시스템 구축에 직접 적용 가능하다.