SPIN: Structural LLM Planning via Iterative Navigation for Industrial Tasks

Industrial LLM agent systems often separate planning from execution, yet LLM planners frequently produce structurally invalid or unnecessarily long workflows, leading to brittle failures and avoidable tool and API cost. We propose SPIN, a planning wrapper that combines validated Directed Acyclic Graph (DAG) planning with prefix based execution control. SPIN enforces a strict DAG contract through \_validate\_plan\_text and repair prompting, producing executable plans before downstream execution, and then evaluates DAG prefixes incrementally to stop when the current prefix is sufficient to answer the query. On AssetOpsBench, across 261 scenarios, SPIN reduces executed tasks from 1061 to 623 and improves Accomplished from 0.638 to 0.706, while reducing tool calls from 11.81 to 6.82 per run. On MCP Bench, the same wrapper improves planning, grounding, and dependency related scores for both GPT OSS1 and Llama 4 Maverick.

📋 한 줄 요약

**[AI Agent / LLM Planning]** 산업용 LLM 에이전트를 위한 DAG 기반 계획 검증 및 prefix 실행 제어 래퍼(SPIN)를 제안하여, 실행 효율과 정확도를 동시에 끌어올린다.

🎯 핵심 기여도

계획(Planning)과 실행(Execution)을 분리하는 산업 에이전트 아키텍처에 검증된 DAG 계약을 강제하는 SPIN 래퍼를 제안
`_validate_plan_text` + 수정(repair) 프롬프트로 실행 전에 구조적으로 유효한 계획만 통과시키는 메커니즘 설계
DAG prefix를 점진적으로 평가하여, 현재 prefix만으로 질의 답변이 충분하면 조기 종료하는 incremental evaluation 도입
AssetOpsBench, MCP Bench 양쪽에서 실행 작업 수와 도구 호출 비용을 크게 줄이면서 성능을 동시 향상

💡 핵심 아이디어

LLM 플래너가 산업 작업에서 종종 구조적으로 잘못되거나 불필요하게 긴 워크플로를 만들어 비용과 실패 위험을 키운다는 문제 의식에서 출발한다. 계획을 텍스트가 아닌 검증 가능한 DAG 객체로 강제하고, 그 DAG의 prefix만으로 답을 낼 수 있으면 멈추는 방식으로 "필요한 만큼만 실행"을 구현한다.

🔬 기술적 접근법

**모델/방법론**: 기존 LLM 플래너(GPT OSS1, Llama 4 Maverick 등) 위에 얹는 plug-in wrapper로 동작하는 SPIN 프레임워크
**핵심 기법**: (1) DAG 계약 검증 + repair 프롬프트로 무효 계획을 재작성, (2) prefix 기반 incremental execution control로 충분 조건이 만족되면 조기 종료

📊 주요 결과

AssetOpsBench 261개 시나리오에서 실행 작업 1061→623로 감소, Accomplished 점수 0.638→0.706 향상
도구 호출 횟수 11.81→6.82(run당)로 약 42% 감소
MCP Bench에서 GPT OSS1, Llama 4 Maverick 모두에서 planning, grounding, dependency 관련 점수 개선

💭 의의 및 한계

**의의**: 산업용 LLM 에이전트의 brittle failure와 토큰/도구 비용 문제를 구조적 검증으로 해결한 실용적 접근. **한계**: DAG 표현이 부적합한 자유로운 탐색 워크플로에는 제약이 있을 수 있고, AssetOpsBench/MCP Bench 외 도메인 일반화는 추가 검증 필요.

🚀 실용적 활용

자산 운영(AssetOps), 산업 자동화 파이프라인의 LLM 에이전트 신뢰성 향상
도구/API 호출 비용이 큰 enterprise 워크플로에서의 비용 절감 레이어
멀티 에이전트 시스템의 plan-then-execute 패턴에 대한 검증 게이트