PREPING: Building Agent Memory without Tasks

Agent memory is typically constructed either offline from curated demonstrations or online from post-deployment interactions. However, regardless of how it is built, an agent faces a cold-start gap when first introduced to a new environment without any task-specific experience available. In this paper, we study pre-task memory construction: whether an agent can build procedural memory before observing any target-environment tasks, using only self-generated synthetic practice. Yet, synthetic interaction alone is insufficient, as without controlling what to practice and what to store, synthetic tasks become redundant, infeasible, and ultimately uninformative, and memory further degrades quickly due to unfiltered trajectories. To overcome this, we present Preping, a proposer-guided memory construction framework. At its core is proposer memory, a structured control state that shapes future practice. A Proposer generates synthetic tasks conditioned on this state, a Solver executes them, and a Validator determines which trajectories are eligible for memory insertion while also providing feedback to guide future proposals. Experiments on AppWorld, BFCL v3, and MCP-Universe show that Preping substantially improves over a no-memory baseline and achieves performance competitive with strong playbook-based methods built from offline or online experience, with deployment cost 2.99times lower on AppWorld and 2.23times lower on BFCL v3 than online memory construction. Further analyses reveal that the main benefit does not come from synthetic volume alone, but from proposer-side control over feasibility, redundancy, and coverage, combined with selective memory updates.

📋 한 줄 요약

**[AI Agent / Memory]** 어떠한 타깃 태스크 관측도 없이 합성 연습만으로 에이전트의 절차 기억(procedural memory)을 미리 구축하는 proposer 중심 프레임워크(Preping)를 제안한다.

🎯 핵심 기여도

새로운 환경에 처음 투입된 에이전트의 cold-start 문제를 사전 태스크 기억 구축(pre-task memory construction)이라는 새로운 문제 설정으로 정식화
단순 합성 상호작용만으로는 부족하다는 점을 보이고, "무엇을 연습하고 무엇을 저장할지" 제어하는 Preping 프레임워크 제안
Proposer–Solver–Validator 3-역할 구조와 그 핵심에 있는 proposer memory(구조화된 제어 상태) 설계
AppWorld, BFCL v3, MCP-Universe에서 강한 playbook 기반 베이스라인과 경쟁할 성능을 더 낮은 배포 비용으로 달성

💡 핵심 아이디어

에이전트가 실제 태스크를 보기 전에도, 합성 태스크를 스스로 만들고 풀고 평가하면서 쓸 만한 절차 기억을 미리 만들어 둘 수 있다는 가설을 검증한다. 다만 무작위 합성은 redundancy/infeasibility로 메모리를 오염시키므로, proposer가 명시적인 제어 상태를 기반으로 다음 연습을 제안하도록 한다.

🔬 기술적 접근법

**모델/방법론**: Proposer(합성 태스크 생성) – Solver(태스크 실행) – Validator(궤적 검증·피드백) 3-에이전트 구조에 proposer memory를 결합한 Preping 프레임워크
**핵심 기법**: proposer memory 기반 conditioned task generation, validator의 trajectory filtering과 proposer로의 피드백 루프를 통한 feasibility/redundancy/coverage 제어

📊 주요 결과

AppWorld, BFCL v3, MCP-Universe 전반에서 no-memory baseline 대비 큰 성능 향상
오프라인·온라인 경험 기반 playbook 방식과 경쟁력 있는 성능 달성
AppWorld에서 온라인 메모리 구축 대비 배포 비용 2.99배 절감, BFCL v3에서는 2.23배 절감

💭 의의 및 한계

**의의**: 실제 사용자 데이터 없이도 사전에 비용 효율적으로 에이전트 메모리를 만들 수 있다는 점을 실증, 새로운 환경 적응 비용을 크게 줄임. **한계**: proposer 품질이 전체 메모리 품질을 결정하므로 proposer가 약하면 효과 제한, 실제 환경과의 분포 격차가 크면 일반화에 한계.

🚀 실용적 활용

신규 API/MCP 서버에 처음 연결되는 에이전트의 사전 부트스트랩
사용자 데이터 수집 전 단계의 product launch용 에이전트 사전 학습
비용에 민감한 enterprise 시나리오에서의 onboarding 자동화