Evaluating Temporal Semantic Caching and Workflow Optimization in Agentic Plan-Execute Pipelines

Industrial asset operations workflows are latency-sensitive because a single user query may require coordination over sensor data, work orders, failure modes, forecasting tools, and domain-specific agents. We evaluate this problem on AssetOpsBench (AOB), an industrial agent benchmark whose plan-execute pipeline exposes repeated overhead from tool discovery, LLM planning, MCP tool execution, and final summarization. Existing LLM caching techniques such as KV-cache reuse and embedding-based semantic caching were designed for chatbot serving and break down when output validity depends on time, asset, or sensor parameters. We propose two complementary optimization layers for AOB plan-execute pipelines: a temporal semantic cache and a set of MCP workflow optimizations combining disk-backed tool-discovery caching and dependency-aware parallel step execution. MCP workflow optimizations corresponded to a 1.67x speedup and reduced median end-to-end latency by about 40.0% while the temporal-cache benchmark achieved a median of 30.6x speedup on cache hits. Beyond the speedup, our results expose a concrete failure mode of pure semantic caching for parameter-rich industrial queries, providing a critical analysis of how caching choices interact with evaluation correctness in MCP-backed agent benchmarks.

📋 한 줄 요약

**[Agentic Pipeline / Temporal Caching]** AssetOpsBench에서 temporal semantic cache + MCP workflow 최적화 평가 — MCP workflow 최적화로 1.67× 가속·median end-to-end latency 약 40% 감소, temporal cache hit 시 median 30.6× 가속, 순수 semantic caching의 parameter-rich 산업 쿼리 실패 모드 노출.

🎯 핵심 기여도

산업 자산 운영 워크플로가 latency-sensitive — 단일 사용자 쿼리도 센서 데이터·작업 명령·고장 모드·예측 도구·도메인 agent 간 조정 필요함을 문제 정의.
AssetOpsBench(AOB) — plan-execute 파이프라인이 tool discovery·LLM planning·MCP tool execution·final summarization의 반복적 오버헤드를 노출하는 산업 agent 벤치마크에서 평가.
기존 LLM 캐싱 기법(KV-cache 재사용·embedding 기반 semantic caching)이 chatbot serving용 설계로, 출력 valid가 시간·자산·센서 파라미터에 의존할 때 break down하는 한계 진단.
두 보완 최적화 계층 제안 — temporal semantic cache와 disk-backed tool-discovery caching + dependency-aware parallel step execution을 결합한 MCP workflow 최적화 세트.

💡 핵심 아이디어

산업 agentic pipeline의 latency는 단순 chatbot용 캐싱으로는 줄일 수 없고 — 시간·자산·센서 파라미터에 따라 output validity가 바뀌기 때문 — temporal-aware semantic cache와 dependency-aware parallel MCP workflow를 결합해야만 의미 있는 가속이 가능하며, parameter-rich 쿼리의 평가 correctness와 caching 선택의 상호작용을 분석할 필요가 있다.

🔬 기술적 접근법

**방법론**: Temporal semantic cache + MCP workflow 최적화(disk-backed tool-discovery caching + dependency-aware parallel step execution).
**핵심 기법**: (1) Plan-execute 파이프라인의 반복 overhead 식별, (2) 시간·자산·센서 파라미터에 conditioning된 temporal semantic cache, (3) Disk-backed tool-discovery cache로 startup overhead 감소, (4) Dependency-aware parallel step execution으로 step 간 의존 그래프 분석 후 병렬화, (5) AOB에서 plan-execute 파이프라인 전반 평가·실패 모드 분석.

📊 주요 결과

MCP workflow 최적화: 1.67× 가속, median end-to-end latency 약 40% 감소.
Temporal cache 벤치마크: 캐시 히트 시 median 30.6× 가속.
순수 semantic caching이 parameter-rich 산업 쿼리에서 구체적 실패 모드 노출.
MCP-backed agent 벤치마크에서 caching 선택과 평가 correctness의 상호작용 비판 분석 제공.

💭 의의 및 한계

**의의**: 산업 agentic 시스템의 캐싱 설계 가이드 제시, 일반 LLM 캐싱과 산업 도메인의 구조적 차이 정량 노출, MCP workflow 최적화의 일반 패턴(parallel execution + tool discovery cache) 제공. **한계**: AOB 단일 벤치마크 검증, temporal cache의 staleness vs hit rate trade-off 가이드 추가 분석 여지, MCP 외 다른 agent 프레임워크 일반화는 별도 검증.

🚀 실용적 활용

산업 자산 운영 LLM 시스템의 latency 최적화.
MCP 기반 agent 인프라 설계.
Parameter-rich 도메인의 캐싱 정책 설계 가이드.