Remember When It Matters: Proactive Memory Agent for Long-Horizon Agents

In long-horizon tasks, decision-relevant state is often scattered across an expanding trajectory, while the action agent must surface it and act. As trajectories grow, task requirements, environment facts, prior attempts, diagnoses, and open subgoals can be buried in the context window or pushed beyond it, failing to influence decisions when needed. We call this failure mode "behavioral state decay". We study memory as an active intervention mechanism rather than passive retrieval. A separate memory agent runs alongside an unmodified action agent, updating a structured memory bank from the recent trajectory and deciding whether to inject a memory-grounded reminder or remain silent. The module is plug-and-play with frontier action agents and existing agent harnesses. Across Terminal-Bench 2.0 and τ^2-Bench, it improves pass@1 for both weaker and stronger action agents, with gains of +8.3 pp on Terminal-Bench and +6.8 pp on τ^2-Bench. Ablations show that selective intervention outperforms passive bank exposure, always-on injection, advisor-only guidance, and general retrieval. As an early step toward open-weight memory policies, we train Qwen3.5-27B on SETA using SFT and GRPO, improving validation reward and achieving partial transfer to Terminal-Bench.

한 줄 요약

긴 시간 범위의 작업에서 행동 에이전트와 별도로 작동하는 메모리 에이전트가 행동 성능을 +8.3pp 향상시킨다.

핵심 기여도

**Behavioral state decay**라는 장기적 작업 실패 원인을 명확히 정의.
행동 에이전트와 별도로 작동하는 **메모리 에이전트**를 제안, **Terminal-Bench 2.0(+8.3pp)**, **τ²-Bench(+6.8pp)**에서 성능 향상.
**두 단계 메모리 개입 아키텍처**(메모리 업데이트 + 선택적 주입)를 제시.
**Qwen3.5-27B** 모델을 **SFT**와 **GRPO**로 학습해 개입 정책을 부분적으로 전이.

핵심 아이디어

기존 메모리 시스템은 정보 저장 및 검색에 집중하지만, 장기적 작업에서는 **언제** 메모리를 사용할지 결정하는 것이 핵심이다. 이 논문은 메모리를 **선택적 개입**(intervention)으로 정의하고, **메모리 에이전트**(memory agent)를 도입하여 **실행 상태**(execution state)를 유지하고, 필요 시 **구체적 리마인더**(예: 실패 진단, 미완료 서브목표)를 주입한다. 이는 단순히 메모리를 노출시키는 **Full-bank context**나, 항상 주입하는 **Always inject** 방식보다 **선택적 침묵**(silence)을 포함한 정책이 더 효과적임을 보여준다.

기술적 접근법

**메모리 에이전트**는 **두 단계**로 구성됨:

1. **Phase 1**: 최근 트래젝토리에서 **구조화된 메모리 은행**(structured memory bank)을 업데이트.
2. **Phase 2**: **리마인더**(reminder)를 생성하거나 **침묵**(silence)을 선택.

**Ablation study**를 통해 **Full-bank context**, **Always inject**, **Injection-only**, **Mem0** 등과 비교.
**Qwen3.5-27B** 모델은 **SETA 데이터셋**에서 **SFT**와 **GRPO**를 사용해 학습됨.
**Claude Opus 4.6**를 메모리 에이전트로 사용했을 때, **Claude Sonnet 4.5**의 성능이 **Terminal-Bench(37.6% → 45.9%)**, **τ²-Bench(55.0% → 61.8%)**에서 향상됨.

주요 결과

**Terminal-Bench 2.0**에서 **+8.3pp**, **τ²-Bench**에서 **+6.8pp** 성능 향상.
**Claude Opus 4.6**가 **Claude Sonnet 4.5**를 대상으로 **Terminal-Bench(+2.4pp)**, **τ²-Bench(+2.5pp)**에서 개선.
**Ablation study**에서 **Full-bank context**는 기준선 대비 개선되지만, **Full memory agent**보다 **2.8pp** 낮음.
**Mem0**는 평균 성능은 개선되지만, **항공**(airline) 도메인에서는 기준선과 동일 수준.

의의 및 한계

**Behavioral state decay** 문제를 명확히 정의하고, **메모리 개입 정책**(intervention policy)을 통해 장기적 작업 성능을 향상시킨 점이 학술적 의의.
**선택적 개입**(selective intervention)이 단순한 메모리 노출이나 항상 주입하는 방식보다 더 균형 잡힌 성능을 보임.
한계로는 **메모리 에이전트**가 **고정 간격**(fixed interval)으로 작동하며, **언제 리마인더를 주입할지**의 정확한 시점을 학습하지 못함. 또한, **전이 학습**(partial transfer)은 **Terminal-Bench**에만 제한됨.

실용적 활용

**CLI 자동화**, **ML 엔지니어링**, **도메인 특화 도구 사용** 등 장기적 작업이 필요한 시스템에 적용 가능.
**Qwen3.5-27B**와 같은 대형 언어 모델을 기반으로 **개입 정책**을 학습해, 다양한 작업 환경에서 **메모리 기반 리마인더**를 활용할 수 있음.