Managing Procedural Memory in LLM Agents: Control, Adaptation, and Evaluation

Procedural memory is increasingly used to improve LLM agents on recurring workplace tasks, yet its ability to produce reusable skills remains poorly understood. We introduce AFTER, a benchmark of 382 realistic enterprise tasks spanning six professional roles and 22 procedural skills, designed to evaluate how skills transfer across tasks, roles, and model backbones. The benchmark includes controlled evaluation settings for local improvement, cross-task transfer, cross-role transfer, and cross-model generalization. Experiments show that procedural memory delivers consistent gains in industrial workflows: a single refinement round improves aggregate performance by 3.7-6.7 points, while skills evolved from diverse multi-model execution traces achieve 73.1% cross-model test accuracy, outperforming all single-model trace sources. We further find that some skills generalize broadly across tasks and models, whereas others become specialized to role-specific workflows and lose effectiveness under transfer. These results provide practical guidance for building, evaluating, and deploying procedural memory systems in production agent platforms.

한 줄 요약

AFTER 벤치마크를 통해 LLM 에이전트의 절차적 기억 전이 능력을 체계적으로 평가하고, 73.1%의 교차모델 정확도를 달성.

핵심 기여도

AFTER: 382개의 실제 업무 태스크로 구성된 벤치마크, 6개 직무, 22개 절차적 기술 포함.
단일 개선 라운드로 전체 성능 +5.2 포인트 향상.
다중 모델 추적 기반 기술이 73.1% 교차모델 정확도 달성, 단일 모델 추적 대비 최소 +13.7 포인트 개선.
직무 간 전이 실험에서 기술이 특정 직무 흐름에 과적합되어 효과 감소하는 한계 발견.

핵심 아이디어

AFTER는 LLM 에이전트의 절차적 기억이 실제 업무 환경에서 어떻게 전이되는지를 평가하기 위한 벤치마크이다. 기존 연구는 대부분 단일 환경 내에서 기술을 개선하는 데 집중했지만, AFTER는 교차 태스크, 교차 직무, 교차 모델 환경에서의 전이를 평가하는 제어된 실험 설정을 제공한다. 이 연구는 기술의 특수화(specialization)와 일반화(generalization)라는 두 가지 속성을 중심으로 절차적 기억의 유용성을 분석한다. 기술이 다양한 모델 추적에서 학습되면 73.1%의 교차모델 정확도를 달성하는 반면, 특정 직무 흐름에 과적합된 기술은 전이 시 효과가 감소한다는 점이 핵심 발견이다.

기술적 접근법

**AFTER 벤치마크**: 382개의 실제 업무 태스크, 6개 직무, 22개 절차적 기술로 구성.
**Evaluation Protocol**: M1(부분적 진행 평가), M2(전체 성공 평가) 두 가지 정확도 지표 사용.
**Evolution 프로토콜**: 기술의 전이 능력을 측정하기 위한 실험 프로토콜.
**교차모델 실험**: 다양한 모델 추적에서 학습한 기술이 73.1%의 교차모델 정확도를 달성.
**교차직무 실험**: 특정 직무 흐름에 과적합된 기술이 전이 시 효과 감소.

주요 결과

**AFTER 데이터셋**: 382개 업무 태스크에서 절차적 기술이 평균 +2.8 포인트 성능 향상.
**단일 개선 라운드**: 기술 성능 +5.2 포인트 추가 향상.
**교차모델 실험**: 다중 모델 추적 기반 기술이 73.1% 정확도 달성, 단일 모델 추적 대비 최소 +13.7 포인트 개선.
**교차직무 실험**: 특정 직무 흐름에 과적합된 기술은 전이 시 효과 감소.

의의 및 한계

AFTER는 LLM 에이전트의 절차적 기억이 실제 업무 환경에서 어떻게 전이되는지를 체계적으로 평가할 수 있는 첫 번째 벤치마크로, 산업 현장에서의 절차적 지식 재사용을 위한 실용적 가이드라인을 제공한다. 특히, 다중 모델 추적에서 학습한 기술이 높은 교차모델 정확도를 달성한 점은 절차적 기억의 일반화 가능성을 입증한다. 그러나 기술이 특정 직무 흐름에 과적합되어 전이 시 효과가 감소하는 한계도 명시된다. 이는 절차적 기억의 핵심 과제가 경험 저장이 아니라, 학습 환경을 벗어난 상황에서도 유용한 절차 구조를 추출하는 데 있다는 점을 강조한다.

실용적 활용

AFTER는 기업 내 LLM 에이전트 플랫폼에서 절차적 기억 시스템을 구축, 평가, 배포하는 데 활용할 수 있다. 특히, 다양한 모델 추적에서 학습한 기술이 높은 교차모델 정확도를 달성한 점은 모델 업데이트나 변경 시에도 지속적으로 활용 가능한 절차적 지식을 구축하는 데 유용하다. 이는 반복적인 업무 프로세스에서 효율성과 일관성을 높이는 데 기여할 수 있다.